Meta: Llama 3.2 3B Instruct

Meta: Llama 3.2 3B Instruct è un modello testuale di Meta, identificato su api14 come meta-llama/llama-3.2-3b-instruct. È un modello linguistico di grandi dimensioni multilingue da 3 miliardi di parametri, costruito su un'architettura transformer e ottimizzato per seguire le istruzioni. Meta lo ha rilasciato il 25 settembre 2024 e il suo knowledge cutoff è il 31 dicembre 2023. Il modello appartiene alla categoria testo, quindi è pensato per il lavoro linguistico e non per immagini, audio o altre modalità.

Sul lato input accetta testo e restituisce testo. La finestra di contesto è di 131.072 token, ampia per un modello di queste dimensioni, e consente di passare documenti lunghi, trascrizioni o cronologie multi-turno in un'unica richiesta. L'output massimo è di 117.964 token, quindi anche le risposte possono essere lunghe. Meta descrive il modello come ottimizzato per attività di elaborazione del linguaggio naturale come la generazione di dialoghi, il ragionamento e il riassunto, e il suo addestramento multilingue significa che può gestire prompt in più di una lingua.

Queste capacità indicano un insieme di utilizzi abbastanza chiaro. Il riassunto si adatta naturalmente: report lunghi, note di riunioni o bozze di articoli possono essere inseriti e ne esce una versione più breve. La generazione di dialoghi lo rende adatto ad assistenti chat, bot di supporto e interfacce conversazionali, dove la messa a punto per le istruzioni mantiene le risposte in linea con il compito. Anche le attività di ragionamento, come risolvere un problema enunciato nel prompt o estrarre risposte strutturate da testo non strutturato, rientrano nell'ambito. Poiché il modello è piccolo, è una scelta ragionevole quando si desidera bassa latenza o si vogliono eseguire molte richieste, e il contesto lungo significa che non è necessario suddividere i documenti in modo aggressivo prima di inviarli.

Si chiama tramite l'API compatibile con OpenAI di api14 usando l'id del modello meta-llama/llama-3.2-3b-instruct. Poiché l'interfaccia segue il formato OpenAI, i client e gli SDK esistenti in genere funzionano cambiando solo l'URL di base e l'id del modello. I parametri di richiesta supportati sono frequency_penalty, logit_bias, logprobs, max_tokens, min_p, presence_penalty, repetition_penalty, seed, stop, structured_outputs, temperature, top_k, top_logprobs e top_p. Questo copre i consueti controlli di campionamento (temperature, top_p, top_k, min_p), le penalità per la ripetizione, le esecuzioni deterministiche tramite seed, le sequenze di stop, i limiti di token e l'ispezione delle probabilità logaritmiche tramite logprobs e top_logprobs. Sono supportati anche gli output strutturati, il che aiuta quando si ha bisogno che la risposta sia conforme a uno schema.

L'aspetto principale da valutare è la dimensione del modello. Con 3 miliardi di parametri è un modello compatto, quindi per attività che richiedono ragionamento profondo o una vasta conoscenza del mondo, un modello più grande potrebbe servirti meglio. È inoltre solo testuale, quindi qualsiasi cosa coinvolga altri tipi di input è fuori ambito qui. Se il tuo carico di lavoro è riassunto, dialogo o ragionamento moderato e dai valore a una finestra di contesto lunga, questo modello è una scelta pratica.