Qwen2.5 72B Instruct

Qwen2.5 72B Instruct est un modèle de génération de texte de Qwen, la série de grands modèles de langage développée par Alibaba Cloud. Il appartient à la famille Qwen2.5, que le fournisseur décrit comme apportant bien plus de connaissances que Qwen2, ainsi que des capacités de codage grandement améliorées. Le modèle a été publié par le fournisseur le 19 septembre 2024, et ses connaissances d'entraînement s'étendent jusqu'à une date limite du 30 juin 2024. Il se situe dans la catégorie texte et est positionné comme un modèle affiné pour l'instruction, ce qui signifie qu'il est conçu pour suivre des invites et produire des réponses directes plutôt que de simples continuations brutes.

Le modèle accepte du texte en entrée et renvoie du texte en sortie, il fonctionne donc pour toute tâche pouvant être exprimée en langage. Sa fenêtre de contexte est de 32 768 jetons, ce qui couvre une quantité substantielle de contenu dans une seule requête, et la longueur maximale de sortie est de 16 384 jetons. Cette combinaison convient aux invites longues telles que les résumés multi-documents, les fichiers de code volumineux ou les instructions détaillées où la réponse elle-même peut également être longue. Comme seul le texte est pris en charge des deux côtés, le modèle ne traite pas les images, l'audio ou d'autres modalités.

Ces capacités indiquent un ensemble assez large d'usages pratiques. Le suivi d'instructions et l'accent mis sur le codage en font un choix adapté à la génération de code, au refactoring, à l'aide au débogage et à l'explication de code existant. La grande fenêtre de contexte prend en charge les flux de travail de type retrieval où plusieurs passages sources sont collés dans l'invite et où il est demandé au modèle de synthétiser ou de répondre à des questions à leur sujet. Il fonctionne également pour la rédaction et l'édition de prose, l'extraction structurée à partir de texte, la classification et le résumé, ainsi que pour les assistants conversationnels qui doivent tenir un long fil de dialogue dans le budget de jetons.

Vous pouvez appeler le modèle via l'API compatible OpenAI d'api14 en utilisant l'identifiant de modèle "qwen/qwen-2.5-72b-instruct". Comme l'interface suit la forme des chat completions d'OpenAI, les SDK et clients OpenAI existants fonctionnent généralement avec seulement l'URL de base et la clé modifiées. Le modèle prend en charge un large ensemble de paramètres de requête : frequency_penalty, logit_bias, max_tokens, min_p, presence_penalty, repetition_penalty, response_format, seed, stop, structured_outputs, temperature, tool_choice, tools, top_k et top_p. L'appel d'outils et les sorties structurées sont donc disponibles directement, ce qui est utile lorsque vous avez besoin que le modèle renvoie du JSON ou invoque des fonctions plutôt que du texte libre.

Quelques contraintes méritent d'être prises en compte avant de vous engager. Le contexte de 32 768 jetons est généreux mais pas illimité, donc de très grandes bases de code ou de longs ensembles de documents peuvent nécessiter un découpage ou du retrieval plutôt qu'une seule invite. La date limite de connaissances du 30 juin 2024 signifie que tout contenu plus récent doit provenir de l'invite elle-même. Si votre charge de travail n'est pas basée sur du texte, ce modèle ne vous aidera pas, car il n'a aucune entrée d'image ou d'audio. Pour les tâches qui s'inscrivent dans ces limites, il offre un modèle de texte polyvalent et performant, avec un fort contrôle des paramètres.