Usiamo i cookie. Cookie e memoria del browser ti mantengono connesso e ricordano le tue preferenze. Con il tuo consenso misuriamo anche come viene usato il sito. Puoi in qualsiasi momento. Consulta la nostra cookie policy.
ricursiveai/ripple-65b-previewUsa il tuo saldo ai prezzi indicati sopra. I nuovi account partono con utilizzo gratuito.
Impostazioni
Ripple-65B-Preview è un modello di testo di ricursiveAI, rilasciato come build di anteprima. È un modello con 65 miliardi di parametri servito in BF16, e rientra nella categoria testo, quindi è pensato per il lavoro sul linguaggio piuttosto che per immagini, audio o altre modalità. L'etichetta di anteprima indica che si tratta di una versione iniziale del modello e non di un rilascio finale e definitivo.
Il modello accetta testo come input e restituisce testo come output, con una finestra di contesto di 1.048.576 token. È spazio sufficiente per contenere input molto grandi in una singola richiesta, come documenti lunghi, file di codice estesi o cronologie di conversazione prolungate, senza suddividerli in più chiamate. L'output massimo è di 131.072 token, quindi anche le risposte possono essere lunghe. La chiamata nativa agli strumenti fa parte del modello stesso, il che significa che può decidere quando chiamare funzioni definite dall'utente e incorporare i risultati nella sua risposta.
Queste capacità indicano alcuni schemi pratici. Il contesto ampio si adatta a compiti in cui il modello deve ragionare su un intero corpus in una sola volta: revisionare un contratto lungo, riassumere una grande base di codice o rispondere a domande su un ampio insieme di documenti senza un passaggio di recupero separato. La chiamata nativa agli strumenti si adatta a flussi di lavoro in stile agente, in cui il modello interroga un'API, un database o un servizio interno e poi prosegue dai dati restituiti. Il limite di output lungo è utile quando serve un report completo, un refactoring ampio o un file intero invece di una risposta breve.
È possibile chiamarlo tramite l'API compatibile con OpenAI di api14 usando l'id del modello "ricursiveai/ripple-65b-preview". Poiché l'interfaccia segue il formato OpenAI, gli SDK e i client OpenAI esistenti funzionano con un cambio di base URL e di id del modello. I parametri di richiesta supportati sono logprobs, max_tokens, response_format, seed, temperature, tool_choice, tools, top_logprobs e top_p. Questo copre il controllo del campionamento tramite temperature e top_p, le esecuzioni deterministiche tramite seed, l'output strutturato tramite response_format e la chiamata di funzioni tramite tools e tool_choice. Logprobs e top_logprobs sono disponibili se servono informazioni di confidenza a livello di token.
Trattandosi di un rilascio di anteprima, vale la pena testarlo sui propri carichi di lavoro prima di adottarlo in produzione, e verificare se è apparsa una build più recente. Se il compito è piccolo o sensibile alla latenza, un modello da 65 miliardi di parametri potrebbe essere più di quanto serve, e un modello più piccolo potrebbe essere più adatto. Se il lavoro non è basato su testo, questo modello non è la scelta giusta, dato che accetta e produce solo testo.
import OpenAI from "openai";
const client = new OpenAI({
baseURL: "https://api14.com/api/v1",
apiKey: process.env.API14_API_KEY,
});
const result = await client.chat.completions.create({
"model": "ricursiveai/ripple-65b-preview",
"messages": [
{
"role": "user",
"content": "Explain vector databases in two sentences."
}
]
});
console.log(result.choices[0].message.content);
logprobsmax_tokensresponse_formatseedtemperaturetool_choicetoolstop_logprobstop_pQuesta community non ha ancora discussioni. Apri la prima su Ricursive: Ripple 65B Preview.