OpenAI: GPT-4o-mini (batch)

GPT-4o-mini (batch) är en textgenereringsmodell från OpenAI, som här erbjuds i sin batchvariant. Den tillhör GPT-4o-familjen och positioneras som OpenAIs lilla modell, under den fullständiga GPT-4o. Leverantören släppte den 18 juli 2024, och dess träningskunskap sträcker sig till 31 oktober 2023. Om du har använt andra OpenAI-modeller kommer beteendet och gränssnittet att kännas bekant.

Modellen accepterar text, bilder och filer som indata, och den returnerar endast text. Dess kontextfönster är 128 000 tokens, vilket räcker för att rymma långa dokument, fleromgångskonversationer eller en blandning av prosa och bilder i en enda begäran. Utdata är begränsad till 16 384 tokens per svar. Eftersom bildindata stöds kan du skicka skärmbilder, diagram eller skannade sidor tillsammans med en textprompt och begära ett skriftligt svar. Filindata utökar detta till dokument som du vill sammanfatta, extrahera från eller ställa frågor om.

Dessa funktioner pekar mot en ganska bred uppsättning praktiska användningsområden. Dokumentfrågor och svar över långa PDF-filer eller rapporter, sammanfattning av möten och trådar, extrahering av strukturerade fält från ostrukturerad text, klassificering och taggning, samt utformning eller omskrivning av innehåll passar alla rimligen. Bildindata gör den användbar för uppgifter som att läsa diagram, transkribera synlig text eller beskriva vad som finns i en skärmbild. Verktygsanrop och strukturerade utdata innebär att den kan ingå i en agentloop eller mata ett nedströms system som förväntar sig ett fast schema, och webb sök-alternativet låter en begäran hämta in extern kontext.

Du anropar den via api14:s OpenAI-kompatibla API med modell-id:t "openai/gpt-4o-mini:batch". Eftersom ytan är OpenAI-kompatibel fungerar befintliga OpenAI-SDK:er och klienter med bara en ändring av bas-URL och nyckel. De begäransparametrar den stöder är frequency_penalty, logit_bias, logprobs, max_tokens, prediction, presence_penalty, response_format, seed, stop, structured_outputs, temperature, tool_choice, tools, top_logprobs, top_p och web_search_options. Det täcker samplingskontroller, deterministiska körningar via seed, begränsad avkodning genom response_format och structured_outputs, samt verktygsanvändning genom tools och tool_choice.

Två saker är värda att kontrollera innan du bestämmer dig. Kunskapsavbrottet är 31 oktober 2023, så allt nyare måste komma från din prompt eller från web_search_options. Utdata är endast text, så om du behöver genererade bilder eller ljud är detta inte modellen för dig. Och eftersom detta är batchvarianten bör du bekräfta att dess latensprofil matchar din applikation; om du behöver interaktiva svarstider bör du jämföra med standardposten utan batch för samma modell.