Google: Gemma 2 27B

Google Gemma 2 27B est un modèle de texte ouvert de Google, construit à partir des mêmes recherches et technologies que celles utilisées pour créer les modèles Gemini. Il appartient à la famille Gemma 2 et, avec 27B paramètres, constitue la plus grande variante de cette ligne. Le modèle a été publié par le fournisseur le 13 juillet 2024, et sa date de coupure des connaissances est le 30 juin 2024, donc tout ce qui suit cette date se situe en dehors de ce qu'il a appris pendant l'entraînement.

C'est un modèle texte en entrée, texte en sortie. La fenêtre de contexte est de 8192 tokens, et la sortie maximale est de 2048 tokens. Cette combinaison façonne la manière dont vous planifiez vos prompts : les documents longs, les gros fichiers de code ou les historiques de conversation étendus doivent tenir dans le budget de 8192 tokens en même temps que vos instructions, et la réponse elle-même est plafonnée à 2048 tokens. Il n'y a ici ni image, ni audio, ni aucune autre modalité d'entrée, donc tout ce que vous envoyez doit être du texte brut.

Les usages pratiques découlent de ce profil. Il fonctionne bien pour les assistants de chat, les réponses à des questions sur du matériel que vous collez dans le prompt, la synthèse d'articles ou de rapports qui tiennent dans la fenêtre de contexte, la rédaction et la réécriture, les tâches de classification et d'extraction, et l'explication ou la génération de code dans la limite de sortie. Comme c'est un modèle ajusté aux instructions, il répond à des descriptions de tâches directes plutôt que de nécessiter des exemples few shot pour chaque requête. La prise en charge des sorties structurées en fait également un choix raisonnable lorsque vous avez besoin que la réponse respecte un schéma, par exemple pour extraire des champs de tickets de support ou de descriptions de produits vers du JSON.

Vous l'appelez via l'API compatible OpenAI d'api14 en utilisant l'identifiant de modèle "google/gemma-2-27b-it". Comme l'interface suit la forme des chat completions d'OpenAI, vous pouvez pointer un client OpenAI existant vers api14 et changer la chaîne du modèle. Les paramètres de requête pris en charge sont frequency_penalty, max_tokens, presence_penalty, repetition_penalty, response_format, seed, stop, structured_outputs, temperature et top_p. En pratique, vous définiriez temperature et top_p pour contrôler l'échantillonnage, utiliseriez max_tokens pour borner la réponse dans la limite de sortie de 2048, appliqueriez des séquences stop pour terminer la génération proprement, et utiliseriez seed lorsque vous voulez des résultats reproductibles. Les paramètres de pénalité aident à réduire les formulations répétées, et response_format conjointement avec structured_outputs couvre les cas où la sortie doit suivre une structure définie.

La principale contrainte à peser est la fenêtre de contexte. À 8192 tokens, elle est plus petite que ce que proposent de nombreux modèles actuels, donc les charges de travail qui dépendent de documents très longs, de grands dépôts ou de conversations de longue durée peuvent nécessiter du découpage, de la récupération ou un modèle avec une fenêtre plus grande. Le plafond de sortie de 2048 tokens exclut de la même manière les réponses uniques très longues. Si votre tâche tient dans ces limites et que vous voulez un modèle Google ouvert avec suivi des instructions et prise en charge des sorties structurées, Gemma 2 27B est une option simple à tester via la même surface d'API que vous utilisez déjà.