OpenAI: GPT-4o (batch)

OpenAI: GPT-4o (batch) är en textgenereringsmodell från OpenAI, som erbjuds här under modell-id:t openai/gpt-4o:batch. Den tillhör GPT-4o-familjen, där "o" står för "omni", och OpenAI beskriver den som stödjande för både text- och bildinmatning med textutdata. Batchvarianten är samma underliggande modell som serveras via ett batcharbetsflöde i stället för ett interaktivt sådant, vilket gör den lämplig för arbete som inte kräver ett omedelbart svar.

När det gäller kapacitet accepterar modellen text, bilder och filer som indata och returnerar endast text. Den har ett kontextfönster på 128 000 tokens och kan producera upp till 16 384 tokens i ett enda svar. Dess kunskapsavgränsning är den 31 oktober 2023, så allt efter det datumet måste komma från prompten eller från ett verktyg snarare än från modellens egen träning. De stödda förfrågningsparametrarna inkluderar temperature, top_p, max_tokens, stop, seed, frequency_penalty, presence_penalty, logit_bias, logprobs och top_logprobs, tillsammans med response_format, structured_outputs, tools, tool_choice, prediction och web_search_options.

Dessa funktioner pekar mot en ganska bred uppsättning praktiska användningsområden. Eftersom bilder och filer kan skickas in tillsammans med text passar modellen för dokumentgranskning, extrahering från skannat eller PDF-material och sammanfattning av långa rapporter som annars skulle överskrida ett mindre kontextfönster. Fönstret på 128 000 tokens gör den också rimlig för att analysera stora kodbaser, långa transkriptioner eller uppsättningar med flera dokument i en enda förfrågan. Verktygsanrop och strukturerade utdata gör den till en kandidat för pipelines där modellen måste returnera maskinläsbar JSON eller anropa externa funktioner, och batchvägen passar offlinejobb som massklassificering, innehållstaggning eller generering av sammanfattningar över en stor korpus.

Att anropa den via api14 fungerar på samma sätt som vilken annan OpenAI-kompatibel endpoint som helst. Du skickar en förfrågan till chat completions-rutten med modellfältet satt till openai/gpt-4o:batch, och du kan skicka någon av parametrarna som listas ovan i förfrågningskroppen. Eftersom endpointen följer OpenAI-schemat fungerar befintliga OpenAI-klientbibliotek och SDK:er i allmänhet utan ändringar, och att byta mellan modeller är vanligtvis en fråga om att ändra modell-id:t.

En sak att ha i åtanke är kunskapsavgränsningen den 31 oktober 2023, vilket innebär att frågor om senare händelser behöver förankras genom prompten eller genom web_search_options. Utdata är endast text, så bildgenerering ligger utanför omfånget. Om din arbetsbelastning behöver ett synkront svar med låg latens i stället för batchbearbetning, skulle en icke-batchvariant av GPT-4o vara det mer naturliga valet.