OpenAI: GPT-3.5 Turbo 16k

GPT-3.5 Turbo 16k è un modello testuale di OpenAI, rilasciato dal provider il 28 agosto 2023. Appartiene alla famiglia GPT-3.5 ed è la variante a contesto lungo del GPT-3.5 Turbo standard, offrendo circa quattro volte la lunghezza del contesto di quel modello. È un modello linguistico di uso generale e non specializzato, ed è pensato per gli sviluppatori che necessitano di più spazio in una singola richiesta rispetto a quanto offerto dal GPT-3.5 Turbo di base.

Il modello accetta testo come input e restituisce testo come output. La sua finestra di contesto è di 16.385 token, e l'output massimo è di 4.096 token. Il knowledge cutoff è il 30 settembre 2021, quindi qualsiasi cosa successiva a tale data è al di fuori dei suoi dati di addestramento. Il contesto più ampio è il principale elemento distintivo in questo caso: OpenAI lo descrive come in grado di supportare approssimativamente 20 pagine di testo in una singola richiesta, il che lo rende adatto a prompt che trasportano molto materiale di partenza anziché una breve istruzione.

Tale capacità plasma i casi d'uso pratici. Riassumere documenti lunghi, rispondere a domande su un corpus incollato, estrarre campi strutturati da report prolungati e conversazioni multi turno che devono conservare una grande quantità di dialogo precedente rientrano tutti nella finestra di 16.385 token. Poiché il modello supporta strumenti e output strutturati, può anche essere utilizzato per flussi di lavoro in stile function calling in cui il modello seleziona uno strumento e restituisce argomenti, e per risposte che devono conformarsi a uno schema JSON tramite response_format. Logprobs e top_logprobs sono disponibili, il che aiuta quando è necessario ispezionare la confidenza a livello di token del modello anziché solo il testo finale.

Lo si chiama tramite l'API compatibile con OpenAI di api14 usando il model id "openai/gpt-3.5-turbo-16k". Poiché l'endpoint segue la forma delle chat completions di OpenAI, gli SDK e i client OpenAI esistenti funzionano con il solo cambio di base URL e chiave. I parametri di richiesta supportati sono frequency_penalty, logit_bias, logprobs, max_completion_tokens, max_tokens, presence_penalty, response_format, seed, stop, structured_outputs, temperature, tool_choice, tools, top_logprobs e top_p. Seed è utile quando si desidera un campionamento ripetibile, e le sequenze di stop consentono di delimitare la generazione.

Due vincoli meritano una valutazione prima di impegnarsi. Il knowledge cutoff di settembre 2021 significa che il modello non ha consapevolezza di eventi, librerie o API successivi, a meno che non si fornisca tale contesto personalmente, e il tetto di output di 4.096 token limita quanto può produrre in una singola risposta anche se la finestra di input è ampia. Se il vostro compito richiede conoscenze più recenti, un output più lungo o input di immagini, questo modello non lo copre, e un modello diverso su api14 sarebbe la scelta migliore.