Nous utilisons des cookies. Les cookies et le stockage du navigateur vous gardent connecté et mémorisent vos préférences. Avec votre accord, nous mesurons aussi l’utilisation du site. Vous pouvez à tout moment. Consultez notre politique relative aux cookies.
ricursiveai/ripple-65b-previewUtilise votre solde aux prix indiqués ci-dessus. Les nouveaux comptes démarrent avec une consommation gratuite.
Paramètres
Ripple-65B-Preview est un modèle de texte de ricursiveAI, publié sous forme de version préliminaire. C'est un modèle de 65 milliards de paramètres servi en BF16, et il appartient à la catégorie texte, il est donc destiné au travail linguistique plutôt qu'à l'image, à l'audio ou à d'autres modalités. Le label preview indique qu'il s'agit d'une version précoce du modèle plutôt que d'une version finale et stabilisée.
Le modèle prend du texte en entrée et renvoie du texte en sortie, avec une fenêtre de contexte de 1 048 576 tokens. C'est suffisamment d'espace pour contenir de très grandes entrées dans une seule requête, comme de longs documents, des fichiers de code volumineux ou de longs historiques de conversation, sans les découper en plusieurs appels. La sortie maximale est de 131 072 tokens, les réponses peuvent donc être longues également. L'appel natif d'outils fait partie du modèle lui-même, ce qui signifie qu'il peut décider quand appeler les fonctions que vous définissez et intégrer les résultats dans sa réponse.
Ces capacités correspondent à quelques schémas pratiques. Le grand contexte convient aux tâches où le modèle doit raisonner sur un corpus entier en une seule fois : examiner un long contrat, résumer une grande base de code, ou répondre à des questions sur un vaste ensemble de documents sans étape de récupération séparée. L'appel natif d'outils correspond aux flux de travail de type agent, où le modèle interroge une API, une base de données ou un service interne puis continue à partir des données renvoyées. La limite de sortie élevée est utile lorsque vous avez besoin d'un rapport complet, d'une refactorisation importante ou d'un fichier entier plutôt que d'une réponse courte.
Vous pouvez l'appeler via l'API compatible OpenAI d'api14 en utilisant l'identifiant de modèle "ricursiveai/ripple-65b-preview". Comme l'interface suit le format OpenAI, les SDK et clients OpenAI existants fonctionnent avec un changement d'URL de base et d'identifiant de modèle. Les paramètres de requête pris en charge sont logprobs, max_tokens, response_format, seed, temperature, tool_choice, tools, top_logprobs et top_p. Cela couvre le contrôle d'échantillonnage via temperature et top_p, les exécutions déterministes via seed, la sortie structurée via response_format, et l'appel de fonctions via tools et tool_choice. Logprobs et top_logprobs sont disponibles si vous avez besoin d'informations de confiance au niveau des tokens.
Comme il s'agit d'une version préliminaire, il vaut la peine de la tester sur vos propres charges de travail avant de vous engager à l'utiliser en production, et de vérifier si une version plus récente est apparue. Si votre tâche est petite ou sensible à la latence, un modèle de 65 milliards de paramètres peut être plus que nécessaire, et un modèle plus petit pourrait mieux vous convenir. Si votre travail n'est pas basé sur du texte, ce modèle n'est pas adapté, car il n'accepte et ne produit que du texte.
import OpenAI from "openai";
const client = new OpenAI({
baseURL: "https://api14.com/api/v1",
apiKey: process.env.API14_API_KEY,
});
const result = await client.chat.completions.create({
"model": "ricursiveai/ripple-65b-preview",
"messages": [
{
"role": "user",
"content": "Explain vector databases in two sentences."
}
]
});
console.log(result.choices[0].message.content);
logprobsmax_tokensresponse_formatseedtemperaturetool_choicetoolstop_logprobstop_pCette communauté n’a encore aucun sujet. Ouvrez le premier sur Ricursive: Ripple 65B Preview.