Meta: Llama 3.2 3B Instruct

Meta : Llama 3.2 3B Instruct est un modèle de texte de Meta, identifié sur api14 comme meta-llama/llama-3.2-3b-instruct. C'est un grand modèle de langage multilingue de 3 milliards de paramètres, construit sur une architecture transformer et ajusté pour le suivi d'instructions. Meta l'a publié le 25 septembre 2024, et sa date limite de connaissances est le 31 décembre 2023. Le modèle appartient à la catégorie texte, il est donc destiné au travail linguistique plutôt qu'à l'image, l'audio ou d'autres modalités.

Côté entrée, il accepte du texte et renvoie du texte. La fenêtre de contexte est de 131 072 tokens, ce qui est important pour un modèle de cette taille et vous permet de transmettre de longs documents, des transcriptions ou des historiques multi-tours en une seule requête. La sortie maximale est de 117 964 tokens, les réponses peuvent donc être longues également. Meta décrit le modèle comme optimisé pour les tâches de traitement du langage naturel telles que la génération de dialogue, le raisonnement et le résumé, et son entraînement multilingue signifie qu'il peut traiter des invites dans plusieurs langues.

Ces capacités indiquent un ensemble d'usages assez clair. Le résumé convient naturellement : de longs rapports, des notes de réunion ou des brouillons d'articles peuvent être fournis et une version plus courte en ressort. La génération de dialogue le rend adapté aux assistants de chat, aux bots de support et aux interfaces conversationnelles où l'ajustement aux instructions maintient les réponses dans le cadre de la tâche. Les tâches de raisonnement, comme résoudre un problème énoncé dans l'invite ou extraire des réponses structurées à partir de texte non structuré, entrent également dans le périmètre. Comme le modèle est petit, c'est un choix raisonnable lorsque vous voulez une faible latence ou envoyer de nombreuses requêtes, et le contexte long signifie que vous n'avez pas à découper agressivement les documents avant de les envoyer.

Vous l'appelez via l'API compatible OpenAI d'api14 en utilisant l'identifiant de modèle meta-llama/llama-3.2-3b-instruct. Comme l'interface suit le format OpenAI, les clients et SDK existants fonctionnent généralement en ne changeant que l'URL de base et l'identifiant de modèle. Les paramètres de requête pris en charge sont frequency_penalty, logit_bias, logprobs, max_tokens, min_p, presence_penalty, repetition_penalty, seed, stop, structured_outputs, temperature, top_k, top_logprobs et top_p. Cela couvre les contrôles d'échantillonnage habituels (temperature, top_p, top_k, min_p), les pénalités de répétition, les exécutions déterministes via seed, les séquences d'arrêt, les limites de tokens et l'inspection des probabilités logarithmiques via logprobs et top_logprobs. Les sorties structurées sont également prises en charge, ce qui aide lorsque vous avez besoin que la réponse respecte un schéma.

Le principal point à peser est la taille du modèle. Avec 3 milliards de paramètres, c'est un modèle compact, donc pour les tâches qui exigent un raisonnement approfondi ou de vastes connaissances du monde, un modèle plus grand peut mieux vous servir. Il est aussi uniquement textuel, donc tout ce qui implique d'autres types d'entrée est hors de portée ici. Si votre charge de travail est le résumé, le dialogue ou un raisonnement modéré et que vous accordez de l'importance à une longue fenêtre de contexte, ce modèle est un choix pratique.