OpenAI: GPT-4o-mini (batch)

GPT-4o-mini (batch) è un modello di generazione di testo di OpenAI, offerto qui nella sua variante batch. Appartiene alla famiglia GPT-4o ed è posizionato come modello piccolo di OpenAI, al di sotto del GPT-4o completo. Il provider lo ha rilasciato il 18 luglio 2024, e la sua conoscenza di addestramento arriva fino al 31 ottobre 2023. Se hai usato altri modelli OpenAI, il comportamento e l'interfaccia ti risulteranno familiari.

Il modello accetta testo, immagini e file come input, e restituisce solo testo. La sua finestra di contesto è di 128.000 token, sufficiente a contenere documenti lunghi, conversazioni multi-turno o un mix di prosa e immagini in una singola richiesta. L'output è limitato a 16.384 token per risposta. Poiché l'input di immagini è supportato, puoi inviare screenshot, diagrammi o pagine scansionate insieme a un prompt testuale e chiedere una risposta scritta. L'input di file estende questo a documenti che vuoi riassumere, da cui estrarre informazioni o su cui porre domande.

Queste capacità indicano un insieme piuttosto ampio di usi pratici. Domande e risposte su documenti lunghi come PDF o report, riassunto di riunioni e thread, estrazione di campi strutturati da testo non strutturato, classificazione ed etichettatura, e redazione o riscrittura di contenuti sono tutti casi adatti. L'input di immagini lo rende utilizzabile per attività come leggere grafici, trascrivere testo visibile o descrivere cosa c'è in uno screenshot. Il tool calling e gli output strutturati significano che può inserirsi in un ciclo di agenti o alimentare un sistema a valle che si aspetta uno schema fisso, e l'opzione di ricerca web consente a una richiesta di attingere a contesto esterno.

Lo chiami tramite l'API compatibile con OpenAI di api14 usando l'id del modello "openai/gpt-4o-mini:batch". Poiché la superficie è compatibile con OpenAI, gli SDK e i client OpenAI esistenti funzionano con il solo cambio di base URL e chiave. I parametri di richiesta supportati sono frequency_penalty, logit_bias, logprobs, max_tokens, prediction, presence_penalty, response_format, seed, stop, structured_outputs, temperature, tool_choice, tools, top_logprobs, top_p e web_search_options. Questo copre i controlli di campionamento, le esecuzioni deterministiche tramite seed, la decodifica vincolata tramite response_format e structured_outputs, e l'uso di strumenti tramite tools e tool_choice.

Due cose vale la pena verificare prima di impegnarti. Il limite di conoscenza è il 31 ottobre 2023, quindi qualsiasi cosa più recente deve arrivare dal tuo prompt o da web_search_options. L'output è solo testo, quindi se hai bisogno di immagini o audio generati, questo modello non è quello giusto. E poiché questa è la variante batch, conferma che il suo profilo di latenza corrisponda alla tua applicazione; se hai bisogno di tempi di risposta interattivi, confronta con la voce standard non batch per lo stesso modello.