OpenAI: GPT-3.5 Turbo Instruct

GPT-3.5 Turbo Instruct è un modello di testo di OpenAI, rilasciato il 28 settembre 2023. È una variante di GPT-3.5 Turbo ottimizzata per prompt istruzionali, e omette le ottimizzazioni legate alla chat presenti nei modelli conversazionali di OpenAI. I suoi dati di addestramento arrivano fino a settembre 2021, che è il knowledge cutoff dichiarato.

Il modello accetta testo come input e restituisce testo come output, quindi si adatta a lavori in stile completamento semplice piuttosto che a compiti multimodali. Ha una lunghezza di contesto di 4095 token e un output massimo di 3685 token. I parametri di richiesta supportati includono temperature, top_p, max_tokens, stop, frequency_penalty, presence_penalty, logit_bias, logprobs, top_logprobs, seed, response_format e structured_outputs.

Poiché il modello è instruction tuned anziché chat optimized, l'uso naturale è il lavoro da prompt a completamento a turno singolo. Gli usi tipici includono la stesura e la riscrittura di testo, il riassunto, la classificazione, l'estrazione in una struttura definita e le pipeline di generazione in cui si invia una istruzione e si consuma una risposta. Gli structured outputs e il supporto di response_format sono utili quando il codice a valle necessita di forme prevedibili, e logprobs con top_logprobs aiutano quando si vuole ispezionare la confidenza a livello di token. Il parametro seed aiuta quando si desidera un campionamento più riproducibile tra le esecuzioni.

Si chiama il modello tramite l'API compatibile con OpenAI di api14 usando il model id "openai/gpt-3.5-turbo-instruct". Le richieste seguono lo schema in stile OpenAI chat completions, quindi gli SDK e i client OpenAI esistenti funzionano con il solo cambio di base URL e chiave. Invia la tua istruzione come contenuto del messaggio user e imposta uno qualsiasi dei parametri supportati elencati sopra. Nota che, poiché questo modello è instruction tuned anziché chat optimized, i prompt scritti come una chiara istruzione singola tendono ad adattarsi meglio rispetto a lunghe conversazioni multi-turno.

I principali vincoli da considerare sono la lunghezza di contesto di 4095 token e il knowledge cutoff di settembre 2021, quindi qualsiasi cosa richieda informazioni recenti deve essere fornita nel prompt stesso. Documenti lunghi, file di codice di grandi dimensioni o dialoghi multi-turno estesi possono superare la finestra o funzionare in modo meno naturale qui. Se serve un botta e risposta conversazionale, un modello chat optimized è di solito una scelta migliore, e se serve un contesto molto più ampio, un altro modello nel catalogo si adatterà meglio.