Meta: Llama 3.1 70B Instruct

Meta: Llama 3.1 70B Instruct è un modello di generazione di testo di Meta, parte della famiglia Llama 3.1 lanciata il 23 luglio 2024. È la versione con 70 miliardi di parametri, ottimizzata per il rispetto delle istruzioni, il che significa che è progettata per rispondere ai prompt e condurre dialoghi anziché limitarsi a continuare testo grezzo. Meta posiziona questa variante instruct come ottimizzata per casi d'uso di dialogo di alta qualità, e si colloca al centro della gamma Llama 3.1 in termini di dimensioni.

Il modello accetta testo come input e restituisce testo come output, quindi è un modello puramente linguistico senza gestione di immagini, audio o video. La sua finestra di contesto è di 131.072 token, abbastanza ampia da contenere documenti lunghi, conversazioni estese o file di codice di dimensioni considerevoli in una singola richiesta. La lunghezza massima dell'output è di 16.384 token, quindi le risposte possono essere sostanziali ma sono limitate ben al di sotto del limite di input. Il suo knowledge cutoff è il 31 dicembre 2023, il che significa che tutto ciò che è successivo a tale data è al di fuori di quanto ha appreso durante l'addestramento.

Queste caratteristiche indicano un insieme abbastanza chiaro di usi pratici. Il contesto lungo si adatta alla sintesi e alla risposta a domande su documenti estesi, alla revisione di contratti, alla sintesi di ricerche e alla chat multi turno in cui le parti precedenti della conversazione devono rimanere visibili. L'instruction tuning lo rende adatto per assistenti, redazione, riscrittura, classificazione ed estrazione. Poiché il modello supporta il tool calling e gli output strutturati, può anche essere utilizzato in pipeline in cui il modello deve restituire dati in una forma definita o invocare funzioni esterne anziché produrre solo testo libero.

Lo si chiama tramite l'API compatibile con OpenAI di api14 usando l'id del modello meta-llama/llama-3.1-70b-instruct. Poiché l'interfaccia segue lo schema OpenAI, è possibile puntare un client OpenAI esistente all'URL di base di api14 e passare quell'id nel campo model. I parametri di richiesta supportati sono frequency_penalty, logit_bias, max_tokens, min_p, presence_penalty, repetition_penalty, response_format, seed, stop, structured_outputs, temperature, tool_choice, tools, top_k e top_p. Questo copre i consueti controlli di campionamento, l'output deterministico tramite seed, le sequenze di stop e sia le modalità di tool calling sia di output strutturato.

Vale la pena tenere a mente alcuni limiti al momento di decidere. L'output è limitato a 16.384 token anche se la finestra di contesto è molto più ampia, quindi le attività che richiedono risposte singole molto lunghe possono richiedere una suddivisione o un modello diverso. Il knowledge cutoff del 31 dicembre 2023 significa che gli eventi recenti non sono coperti a meno che non vengano forniti nel prompt. E poiché input e output sono solo testo, qualsiasi cosa che coinvolga immagini o audio esula da ciò che questo modello può fare.