OpenAI: GPT-4o (batch)

OpenAI: GPT-4o (batch) è un modello di generazione di testo di OpenAI, offerto qui con l'id del modello openai/gpt-4o:batch. Appartiene alla famiglia GPT-4o, dove la "o" sta per "omni", e OpenAI lo descrive come supporto sia input di testo che immagini con output di testo. La variante batch è lo stesso modello di base servito attraverso un flusso di lavoro batch anziché interattivo, il che lo rende adatto a lavori che non richiedono una risposta immediata.

Sulle capacità, il modello accetta testo, immagini e file come input e restituisce solo testo. Ha una finestra di contesto di 128.000 token e può produrre fino a 16.384 token in una singola risposta. Il suo knowledge cutoff è il 31 ottobre 2023, quindi qualsiasi cosa successiva a tale data deve provenire dal prompt o da uno strumento anziché dalla formazione del modello stesso. I parametri di richiesta supportati includono temperature, top_p, max_tokens, stop, seed, frequency_penalty, presence_penalty, logit_bias, logprobs e top_logprobs, insieme a response_format, structured_outputs, tools, tool_choice, prediction e web_search_options.

Queste capacità indicano un insieme piuttosto ampio di usi pratici. Poiché immagini e file possono essere passati insieme al testo, il modello è adatto alla revisione di documenti, all'estrazione da materiale scansionato o PDF e alla sintesi di report lunghi che altrimenti supererebbero una finestra di contesto più piccola. La finestra di 128.000 token lo rende inoltre ragionevole per analizzare grandi basi di codice, trascrizioni lunghe o insiemi multi-documento in un'unica richiesta. La chiamata di strumenti e gli output strutturati lo rendono un candidato per pipeline in cui il modello deve restituire JSON leggibile dalla macchina o invocare funzioni esterne, e la via batch si adatta a lavori offline come classificazione in blocco, tagging di contenuti o generazione di riepiloghi su un grande corpus.

Chiamarlo tramite api14 funziona allo stesso modo di qualsiasi altro endpoint compatibile con OpenAI. Si invia una richiesta alla rotta chat completions con il campo model impostato su openai/gpt-4o:batch, e si possono passare qualsiasi dei parametri elencati sopra nel corpo della richiesta. Poiché l'endpoint segue lo schema OpenAI, le librerie client e gli SDK OpenAI esistenti generalmente funzionano senza modifiche, e passare da un modello all'altro è di solito questione di cambiare l'id del modello.

Una cosa da tenere a mente è il knowledge cutoff del 31 ottobre 2023, il che significa che le domande su eventi successivi necessitano di ancoraggio attraverso il prompt o tramite web_search_options. L'output è solo testo, quindi la generazione di immagini è fuori ambito. Se il tuo carico di lavoro necessita di una risposta sincrona a bassa latenza anziché di elaborazione batch, una variante GPT-4o non batch sarebbe la scelta più naturale.