Qwen: Qwen2.5 7B Instruct

Qwen2.5 7B Instruct est un modèle de génération de texte de Qwen, la série de grands modèles de langage développée par Alibaba Cloud. Il appartient à la famille Qwen2.5, que le fournisseur décrit comme apportant nettement plus de connaissances que Qwen2 ainsi que des capacités grandement améliorées en matière de codage. Le modèle a été publié par le fournisseur le 16 octobre 2024, et sa date limite de connaissances est le 30 juin 2024, donc tout ce qui s'est produit après cette date est en dehors de ce qu'il a appris pendant l'entraînement.

Le modèle fonctionne uniquement avec du texte, en entrée comme en sortie. Il accepte des invites textuelles et renvoie des complétions textuelles, avec une fenêtre de contexte de 32 768 tokens et une sortie maximale de 29 491 tokens. Cette combinaison signifie que vous pouvez envoyer des documents, des transcriptions ou des fichiers de code assez longs dans une seule requête tout en laissant de la place pour une réponse substantielle. C'est un modèle ajusté aux instructions, il est donc conçu pour suivre les directives données dans l'invite plutôt que de simplement continuer le texte.

En raison de ses améliorations en codage et de ses connaissances générales, le modèle convient à des tâches telles que la génération de code, l'explication et la refactorisation de code, la réponse à des questions sur de longs documents, le résumé de textes longs, et la rédaction ou la réécriture de contenu. L'ajustement aux instructions en fait un choix raisonnable pour des assistants de type chat et pour des tâches d'extraction ou de classification où vous décrivez la tâche dans l'invite. Le contexte de 32 768 tokens est utile lorsque le matériel sur lequel vous devez raisonner est long, par exemple un fichier source complet ou un rapport de plusieurs pages, car vous pouvez souvent éviter de le découper en morceaux.

Vous appelez le modèle via l'API compatible OpenAI d'api14 en utilisant l'identifiant de modèle "qwen/qwen-2.5-7b-instruct". Les requêtes suivent la même forme que l'interface de complétions de chat d'OpenAI, donc les bibliothèques clientes et le code OpenAI existants peuvent pointer vers api14 avec des modifications minimales. Le modèle prend en charge un large ensemble de paramètres de requête : frequency_penalty, max_tokens, min_p, presence_penalty, repetition_penalty, response_format, seed, stop, structured_outputs, temperature, tool_choice, tools, top_k et top_p. L'appel d'outils et les sorties structurées sont tous deux disponibles, ce qui signifie que vous pouvez laisser le modèle appeler des fonctions que vous définissez ou contraindre sa sortie à un schéma, et le paramètre seed vous permet de rendre l'échantillonnage plus reproductible lorsque vous avez besoin de résultats cohérents d'une exécution à l'autre.

Gardez la limite de contexte à l'esprit lors de la conception des requêtes : 32 768 tokens couvrent beaucoup, mais de très grandes bases de code ou des entrées de la longueur d'un livre nécessiteront encore un découpage ou une récupération en amont du modèle. Le modèle est uniquement textuel, donc si votre application doit traiter des images ou de l'audio, ce n'est pas le bon choix. Si vous avez besoin d'une fenêtre de contexte plus grande ou d'un raisonnement plus solide sur des problèmes difficiles, un modèle plus grand de la gamme Qwen2.5 ou d'une autre famille pourra mieux vous servir, tandis que cette variante 7B reste une option pratique pour la génération quotidienne, l'assistance au codage et le traitement de texte lorsqu'un modèle de taille moyenne suffit.