OpenAI: GPT-4 Turbo (batch)

GPT-4 Turbo (batch) è un modello di generazione di testo di OpenAI, offerto su api14 con l'id del modello openai/gpt-4-turbo:batch. È la variante batch della linea GPT-4 Turbo di OpenAI, la versione che ha aggiunto le capacità di visione. api14 indirizza le richieste verso di esso attraverso la stessa interfaccia compatibile con OpenAI che usi per altri modelli sulla piattaforma, quindi non serve alcun SDK separato o lavoro di integrazione.

Il modello accetta input di testo e immagini e produce output di testo, il che significa che puoi mescolare prompt e immagini in una singola richiesta quando questo è utile. Supporta una finestra di contesto di 128.000 token, e le risposte possono arrivare fino a 4.096 token. I suoi dati di addestramento arrivano fino a dicembre 2023. Le richieste di visione funzionano insieme alla modalità JSON e al function calling, quindi l'output strutturato e l'uso di strumenti non sono limitati alle chiamate solo testo.

Queste capacità indicano alcuni schemi pratici. Documenti lunghi, codebase o trascrizioni rientrano comodamente nella finestra di 128.000 token, quindi riassunto, estrazione e risposta a domande su input di grandi dimensioni sono praticabili senza un pesante chunking. Poiché le immagini sono accettate come input, anche l'analisi di screenshot, l'interpretazione di diagrammi e l'analisi di documenti da pagine scansionate rientrano nell'ambito. Il function calling e gli output strutturati lo rendono adatto ad agenti, flussi di lavoro che usano strumenti e pipeline che necessitano di risposte leggibili dalla macchina, mentre la modalità JSON mantiene prevedibile l'analisi a valle.

Per chiamarlo su api14, invia una richiesta all'endpoint chat completions con il campo model impostato su openai/gpt-4-turbo:batch, esattamente come faresti con l'API di OpenAI. Il modello supporta frequency_penalty, logit_bias, logprobs, max_tokens, presence_penalty, response_format, seed, stop, structured_outputs, temperature, tool_choice, tools, top_logprobs e top_p. Questo copre i controlli di campionamento, il determinismo tramite seed, i limiti di token, le sequenze di stop, i formati di output strutturato e le definizioni degli strumenti, quindi la maggior parte dei corpi di richiesta standard in stile OpenAI funziona senza modifiche.

Due vincoli meritano attenzione prima di impegnarti. L'output è limitato a 4.096 token per risposta, quindi le attività che richiedono completamenti singoli molto lunghi potrebbero dover essere suddivise su più chiamate, e il limite di conoscenza di dicembre 2023 significa che il modello non è a conoscenza di nulla dopo quella data, a meno che tu non lo fornisca nel prompt. Se il tuo carico di lavoro necessita di conoscenze più recenti, budget di output maggiori o un profilo di costo diverso, controlla gli altri modelli disponibili su api14 prima di scegliere questo.