Meta: Llama 3.3 70B Instruct

Meta: Llama 3.3 70B Instruct è un modello di generazione di testo di Meta, rilasciato il 6 dicembre 2024. Appartiene alla famiglia Llama 3.3, un modello linguistico di grandi dimensioni multilingue che Meta ha sia preaddestrato sia ottimizzato per le istruzioni a 70B parametri. La variante ottimizzata per le istruzioni è solo testo, il che significa che è progettata per attività guidate da prompt piuttosto che per input multimodale.

Il modello riceve testo in ingresso e restituisce testo in uscita, con una finestra di contesto di 131.072 token e un output massimo di 16.384 token. Il suo limite di conoscenza è il 31 dicembre 2023, quindi qualsiasi cosa successiva a tale data è al di fuori di ciò che ha appreso durante l'addestramento. Poiché è ottimizzato per le istruzioni, segue le indicazioni in un prompt in modo ragionevolmente diretto, il che lo rende adatto a compiti in cui descrivi ciò che vuoi invece di fornire esempi.

Queste capacità indicano un insieme piuttosto ampio di usi pratici. Il lavoro su contesti lunghi, come il riassunto o l'interrogazione di documenti estesi, si adatta alla finestra di 131.072 token, e il limite di output di 16.384 token supporta risposte che vanno ben oltre una risposta breve. La generazione multilingue e gli assistenti in stile chat sono adattamenti naturali date le capacità multilingue del modello. Il rispetto delle istruzioni lo rende anche una scelta ragionevole per estrazione, riscrittura, classificazione e attività di trasformazione simili in cui l'input è testo e l'output è testo.

Lo si chiama tramite l'API compatibile con OpenAI di api14 usando l'id del modello "meta-llama/llama-3.3-70b-instruct". L'endpoint accetta la consueta struttura di richiesta in stile chat, e il modello supporta un ampio insieme di parametri: frequency_penalty, logit_bias, logprobs, max_tokens, min_p, presence_penalty, repetition_penalty, response_format, seed, stop, structured_outputs, temperature, tool_choice, tools, top_k, top_logprobs e top_p. Sia la chiamata di strumenti sia gli output strutturati sono disponibili, quindi la chiamata di funzioni e le risposte vincolate a uno schema sono opzioni, non soluzioni alternative.

Due limiti vanno tenuti a mente quando si sceglie questo modello. Accetta solo testo, quindi input di immagini, audio o altri input non testuali sono fuori ambito, e la sua conoscenza si ferma alla fine del 2023, il che è rilevante per domande su eventi recenti, a meno che tu non fornisca il contesto tu stesso. Se il tuo compito dipende da queste cose, un modello con la modalità di input pertinente o un limite di conoscenza più recente sarebbe più adatto.