Meta: Llama 3.1 70B Instruct

Meta : Llama 3.1 70B Instruct est un modèle de génération de texte de Meta, faisant partie de la famille Llama 3.1 lancée le 23 juillet 2024. Il s'agit de la version à 70 milliards de paramètres, ajustée pour le suivi d'instructions, ce qui signifie qu'elle est conçue pour répondre à des invites et mener un dialogue plutôt que de simplement continuer un texte brut. Meta positionne cette variante instruct comme optimisée pour les cas d'usage de dialogue de haute qualité, et elle se situe au milieu de la gamme Llama 3.1 en termes de taille.

Le modèle accepte du texte en entrée et renvoie du texte en sortie, c'est donc un modèle de langage pur sans traitement d'images, d'audio ou de vidéo. Sa fenêtre de contexte est de 131 072 tokens, ce qui est suffisamment grand pour contenir de longs documents, des conversations étendues ou des fichiers de code volumineux dans une seule requête. La longueur maximale de sortie est de 16 384 tokens, les réponses peuvent donc être substantielles mais sont plafonnées bien en dessous de la limite d'entrée. Sa date de coupure des connaissances est le 31 décembre 2023, tout ce qui est postérieur à cette date est donc en dehors de ce qu'il a appris pendant l'entraînement.

Ces caractéristiques indiquent un ensemble d'usages pratiques assez clair. Le long contexte convient à la summarisation et aux questions-réponses sur des documents longs, à la revue de contrats, à la synthèse de recherche et au chat multi-tours où les parties précédentes de la conversation doivent rester visibles. L'ajustement aux instructions en fait un choix raisonnable pour les assistants, la rédaction, la réécriture, la classification et les tâches d'extraction. Comme le modèle prend en charge l'appel d'outils et les sorties structurées, il peut aussi être utilisé dans des pipelines où le modèle doit renvoyer des données dans une forme définie ou invoquer des fonctions externes plutôt que de seulement produire du texte libre.

Vous l'appelez via l'API compatible OpenAI d'api14 en utilisant l'id de modèle meta-llama/llama-3.1-70b-instruct. Comme l'interface suit le schéma OpenAI, vous pouvez pointer un client OpenAI existant vers l'URL de base d'api14 et passer cet id dans le champ model. Les paramètres de requête pris en charge sont frequency_penalty, logit_bias, max_tokens, min_p, presence_penalty, repetition_penalty, response_format, seed, stop, structured_outputs, temperature, tool_choice, tools, top_k et top_p. Cela couvre les contrôles d'échantillonnage habituels, la sortie déterministe via seed, les séquences d'arrêt, ainsi que les modes d'appel d'outils et de sortie structurée.

Quelques limites méritent d'être gardées à l'esprit au moment de décider. La sortie est plafonnée à 16 384 tokens même si la fenêtre de contexte est bien plus grande, les tâches qui nécessitent de très longues réponses uniques peuvent donc exiger un découpage ou un modèle différent. La date de coupure des connaissances du 31 décembre 2023 fait que les événements récents ne sont pas couverts, sauf si vous les fournissez dans l'invite. Et comme l'entrée et la sortie sont uniquement du texte, tout ce qui implique des images ou de l'audio sort de ce que ce modèle peut faire.