Google: Gemma 2 27B

Google Gemma 2 27B è un modello di testo aperto di Google, costruito dalla stessa ricerca e tecnologia usate per creare i modelli Gemini. Si colloca nella famiglia Gemma 2 e, con 27B parametri, è la variante più grande di quella linea. Il modello è stato rilasciato dal provider il 13 luglio 2024, e il suo knowledge cutoff è il 30 giugno 2024, quindi qualsiasi cosa successiva a quella data è al di fuori di ciò che ha appreso durante l'addestramento.

È un modello text in, text out. La finestra di contesto è di 8192 token, e l'output massimo è di 2048 token. Questa combinazione determina come pianifichi i prompt: documenti lunghi, file di codice di grandi dimensioni o cronologie di chat estese devono rientrare nel budget di 8192 token insieme alle tue istruzioni, e la risposta stessa è limitata a 2048 token. Non ci sono modalità di input per immagini, audio o altro, quindi tutto ciò che invii deve essere testo semplice.

Gli usi pratici derivano da questo profilo. Funziona bene per assistenti di chat, risposta a domande su materiale che incolli nel prompt, riassunto di articoli o report che rientrano nella finestra di contesto, redazione e riscrittura, attività di classificazione ed estrazione, e spiegazione o generazione di codice entro il limite di output. Poiché è un modello instruction tuned, risponde a descrizioni dirette del compito invece di richiedere esempi few shot per ogni richiesta. Il supporto agli output strutturati lo rende anche una scelta ragionevole quando hai bisogno che la risposta sia conforme a uno schema, per esempio estrarre campi da ticket di supporto o descrizioni di prodotto in JSON.

Lo chiami tramite l'API compatibile con OpenAI di api14 usando il model id "google/gemma-2-27b-it". Poiché l'interfaccia segue la forma delle chat completions di OpenAI, puoi puntare un client OpenAI esistente su api14 e cambiare la stringa del modello. I parametri di richiesta supportati sono frequency_penalty, max_tokens, presence_penalty, repetition_penalty, response_format, seed, stop, structured_outputs, temperature e top_p. In pratica imposteresti temperature e top_p per controllare il campionamento, useresti max_tokens per limitare la risposta entro il limite di output di 2048, applicheresti sequenze di stop per terminare la generazione in modo pulito, e useresti seed quando vuoi risultati ripetibili. I parametri di penalità aiutano a ridurre le frasi ripetute, e response_format insieme a structured_outputs copre i casi in cui l'output deve seguire una struttura definita.

Il vincolo principale da valutare è la finestra di contesto. A 8192 token è più piccola di quella offerta da molti modelli attuali, quindi carichi di lavoro che dipendono da documenti molto lunghi, repository di grandi dimensioni o conversazioni di lunga durata potrebbero richiedere chunking, retrieval o un modello con una finestra più grande. Il limite di output di 2048 token esclude analogamente risposte singole molto lunghe. Se il tuo compito rientra in questi limiti e vuoi un modello Google aperto con instruction following e supporto agli output strutturati, Gemma 2 27B è un'opzione semplice da testare attraverso la stessa superficie API che già usi.