OpenAI: GPT-4o-mini (batch)

GPT-4o-mini (batch) ist ein Textgenerierungsmodell von OpenAI, das hier in seiner Batch-Variante angeboten wird. Es gehört zur GPT-4o-Familie und ist als OpenAIs kleines Modell positioniert, unterhalb des vollständigen GPT-4o. Der Anbieter hat es am 18. Juli 2024 veröffentlicht, und sein Trainingswissen reicht bis zum 31. Oktober 2023. Wenn Sie andere OpenAI-Modelle verwendet haben, werden sich Verhalten und Schnittstelle vertraut anfühlen.

Das Modell akzeptiert Text, Bilder und Dateien als Eingabe und gibt nur Text zurück. Sein Kontextfenster beträgt 128.000 Token, genug für lange Dokumente, mehrteilige Gespräche oder eine Mischung aus Prosa und Bildern in einer einzigen Anfrage. Die Ausgabe ist auf 16.384 Token pro Antwort begrenzt. Da Bildeingabe unterstützt wird, können Sie Screenshots, Diagramme oder gescannte Seiten zusammen mit einer Textaufforderung senden und eine schriftliche Antwort anfordern. Dateieingabe erweitert dies auf Dokumente, die Sie zusammenfassen, aus denen Sie extrahieren oder zu denen Sie Fragen stellen möchten.

Diese Fähigkeiten weisen auf ein ziemlich breites Spektrum praktischer Einsatzmöglichkeiten hin. Dokumentenfragen zu langen PDFs oder Berichten, Zusammenfassung von Besprechungen und Threads, Extraktion strukturierter Felder aus unstrukturiertem Text, Klassifikation und Tagging sowie Entwurf oder Überarbeitung von Inhalten passen alle gut. Bildeingabe macht es nutzbar für Aufgaben wie das Lesen von Diagrammen, das Transkribieren sichtbaren Texts oder das Beschreiben des Inhalts eines Screenshots. Tool Calling und strukturierte Ausgaben bedeuten, dass es in einer Agentenschleife sitzen oder ein nachgelagertes System speisen kann, das ein festes Schema erwartet, und die Websuche-Option ermöglicht es einer Anfrage, externen Kontext einzubeziehen.

Sie rufen es über die OpenAI-kompatible API von api14 mit der Modell-ID "openai/gpt-4o-mini:batch" auf. Da die Oberfläche OpenAI-kompatibel ist, funktionieren vorhandene OpenAI SDKs und Clients mit nur einer Änderung von Basis-URL und Schlüssel. Die unterstützten Anfrageparameter sind frequency_penalty, logit_bias, logprobs, max_tokens, prediction, presence_penalty, response_format, seed, stop, structured_outputs, temperature, tool_choice, tools, top_logprobs, top_p und web_search_options. Das deckt Sampling-Steuerungen, deterministische Läufe über seed, eingeschränktes Decoding über response_format und structured_outputs sowie Tool-Nutzung über tools und tool_choice ab.

Zwei Dinge sollten Sie prüfen, bevor Sie sich festlegen. Der Wissensstichtag ist der 31. Oktober 2023, sodass alles Neuere aus Ihrem Prompt oder aus web_search_options kommen muss. Die Ausgabe ist nur Text, wenn Sie also generierte Bilder oder Audio benötigen, ist dieses Modell nicht das richtige. Und da dies die Batch-Variante ist, bestätigen Sie, dass ihr Latenzprofil zu Ihrer Anwendung passt; wenn Sie interaktive Antwortzeiten benötigen, vergleichen Sie mit dem standardmäßigen Nicht-Batch-Eintrag für dasselbe Modell.