Nous utilisons des cookies. Les cookies et le stockage du navigateur vous gardent connecté et mémorisent vos préférences. Avec votre accord, nous mesurons aussi l’utilisation du site. Vous pouvez à tout moment. Consultez notre politique relative aux cookies.
inclusionai/ling-3.0-tinyUtilise votre solde aux prix indiqués ci-dessus. Les nouveaux comptes démarrent avec une consommation gratuite.
Paramètres
Ling 3.0 Tiny est un modèle de texte d'inclusionAI. C'est un modèle à mélange d'experts avec 1,3 milliard de paramètres actifs sur 7,9 milliards au total. La conception cible les agents réactifs, le suivi d'instructions et les conversations multi-tours, et le modèle prend en charge un comportement de raisonnement commutable. Il appartient à la catégorie texte, il est donc destiné au travail linguistique plutôt qu'à l'image, l'audio ou d'autres médias.
Le modèle prend du texte en entrée et renvoie du texte en sortie. Sa fenêtre de contexte est de 262144 tokens, et la sortie maximale est de 250000 tokens, ce qui signifie que des entrées très longues et des générations très longues sont toutes deux possibles dans une seule requête. Le raisonnement peut être activé ou désactivé, et lorsqu'il est activé, le contenu de raisonnement peut être exposé séparément via le paramètre include_reasoning. Cette combinaison d'un grand contexte et d'un nombre de paramètres actifs comparativement faible en fait un candidat pour les charges de travail où la latence et le débit comptent autant que les documents longs.
Les usages pratiques découlent de ces caractéristiques. Les agents réactifs et les flux de travail pilotés par outils correspondent au suivi d'instructions et à la prise en charge des outils. Les systèmes de conversation multi-tours bénéficient du contexte long, puisque les tours précédents et le matériel de référence peuvent rester dans le prompt. Le résumé de documents longs, l'extraction et la réponse aux questions sont viables car la fenêtre de contexte est grande. Les tâches de sortie structurée fonctionnent via response_format, et les tâches de classification ou de notation peuvent utiliser logprobs et top_logprobs. Les prompts à forte composante de raisonnement peuvent être traités en activant le raisonnement lorsqu'une tâche nécessite un travail étape par étape avant la réponse finale.
Vous appelez le modèle via l'API compatible OpenAI d'api14 en utilisant l'identifiant de modèle "inclusionai/ling-3.0-tiny". Comme l'interface suit la forme des chat completions d'OpenAI, les SDK et clients OpenAI existants fonctionnent en pointant l'URL de base vers api14 et en définissant l'identifiant de modèle. Les paramètres de requête pris en charge sont frequency_penalty, include_reasoning, logprobs, max_tokens, presence_penalty, reasoning, response_format, seed, stop, temperature, tools, top_logprobs et top_p. Utilisez max_tokens pour borner la génération, temperature et les paramètres de pénalité pour orienter le style et la répétition, seed pour un échantillonnage reproductible, et stop pour terminer la génération sur des séquences choisies. Tools active l'appel de fonctions, et response_format contraint la structure de sortie.
Il existe des cas où un autre modèle peut mieux convenir. Ce modèle ne traite que le texte, donc les tâches qui nécessitent une entrée ou une sortie d'image ou d'audio ont besoin d'un modèle différent. C'est une variante tiny, donc si une tâche exige le raisonnement ou les connaissances les plus solides possibles, un modèle plus grand de la même famille ou d'un autre fournisseur peut être le meilleur choix. Pour la génération de texte simple, les agents et le travail à contexte long dans les limites des paramètres pris en charge, c'est un choix par défaut raisonnable.
Cette communauté n’a encore aucun sujet. Ouvrez le premier sur inclusionAI: Ling 3.0 Tiny.
import OpenAI from "openai";
const client = new OpenAI({
baseURL: "https://api14.com/api/v1",
apiKey: process.env.API14_API_KEY,
});
const result = await client.chat.completions.create({
"model": "inclusionai/ling-3.0-tiny",
"messages": [
{
"role": "user",
"content": "Explain vector databases in two sentences."
}
]
});
console.log(result.choices[0].message.content);
frequency_penaltyinclude_reasoninglogprobsmax_tokenspresence_penaltyreasoningresponse_formatseedstopstructured_outputstemperaturetool_choicetoolstop_logprobstop_p