Meta: Llama 3.3 70B Instruct

Méta : Llama 3.3 70B Instruct est un modèle de génération de texte de Meta, publié le 6 décembre 2024. Il appartient à la famille Llama 3.3, un grand modèle de langage multilingue que Meta a à la fois pré-entraîné et ajusté aux instructions à 70B paramètres. La variante ajustée aux instructions est uniquement textuelle, ce qui signifie qu'elle est conçue pour des tâches guidées par des invites plutôt que pour une entrée multimodale.

Le modèle prend du texte en entrée et renvoie du texte en sortie, avec une fenêtre de contexte de 131 072 jetons et une sortie maximale de 16 384 jetons. Sa date limite de connaissances est le 31 décembre 2023, donc tout ce qui suit cette date dépasse ce qu'il a appris pendant l'entraînement. Comme il est ajusté aux instructions, il suit les directives d'une invite de manière assez directe, ce qui le rend adapté aux tâches où vous décrivez ce que vous voulez plutôt que de fournir des exemples.

Ces capacités ouvrent sur un ensemble assez large d'usages pratiques. Le travail sur contexte long, comme le résumé ou l'interrogation de documents volumineux, correspond à la fenêtre de 131 072 jetons, et le plafond de sortie de 16 384 jetons permet des réponses qui vont bien au-delà d'une réponse courte. La génération multilingue et les assistants de type conversation sont des usages naturels compte tenu de l'entraînement multilingue du modèle. Le suivi d'instructions en fait aussi un choix raisonnable pour l'extraction, la réécriture, la classification et les tâches de transformation similaires où l'entrée est du texte et la sortie est du texte.

Vous l'appelez via l'API compatible OpenAI d'api14 en utilisant l'identifiant de modèle "meta-llama/llama-3.3-70b-instruct". Le point de terminaison accepte la forme de requête habituelle de type conversation, et le modèle prend en charge un large ensemble de paramètres : frequency_penalty, logit_bias, logprobs, max_tokens, min_p, presence_penalty, repetition_penalty, response_format, seed, stop, structured_outputs, temperature, tool_choice, tools, top_k, top_logprobs et top_p. L'appel d'outils et les sorties structurées sont tous deux disponibles, donc l'appel de fonctions et les réponses contraintes par schéma sont des options plutôt que des contournements.

Deux limites méritent d'être gardées à l'esprit lorsque vous choisissez ce modèle. Il accepte uniquement du texte, donc les images, l'audio ou d'autres entrées non textuelles sont hors de portée, et ses connaissances s'arrêtent fin 2023, ce qui compte pour les questions sur des événements récents à moins que vous ne fournissiez vous-même le contexte. Si votre tâche dépend de ces éléments, un modèle doté de la modalité d'entrée pertinente ou d'une date limite plus récente conviendrait mieux.