OpenAI: GPT-3.5 Turbo 16k

GPT-3.5 Turbo 16k ist ein Textmodell von OpenAI, das vom Anbieter am 28. August 2023 veröffentlicht wurde. Es gehört zur GPT-3.5-Familie und ist die Variante mit langem Kontext des Standard-GPT-3.5 Turbo, die etwa die vierfache Kontextlänge dieses Modells bietet. Es ist ein Allzweck-Sprachmodell und kein spezialisiertes, und es richtet sich an Entwickler, die in einer einzelnen Anfrage mehr Platz benötigen, als das Basis-GPT-3.5 Turbo bietet.

Das Modell akzeptiert Text als Eingabe und gibt Text als Ausgabe zurück. Sein Kontextfenster beträgt 16.385 Token, und die maximale Ausgabe beträgt 4.096 Token. Der Wissensstand reicht bis zum 30. September 2021, sodass alles nach diesem Datum außerhalb seiner Trainingsdaten liegt. Der größere Kontext ist hier das Hauptunterscheidungsmerkmal: OpenAI beschreibt es als Unterstützung von etwa 20 Seiten Text in einer einzelnen Anfrage, was es für Prompts geeignet macht, die viel Quellmaterial statt einer kurzen Anweisung enthalten.

Diese Kapazität prägt die praktischen Anwendungsfälle. Das Zusammenfassen langer Dokumente, das Beantworten von Fragen über einen eingefügten Korpus, das Extrahieren strukturierter Felder aus umfangreichen Berichten und mehrstufige Gespräche, die eine große Menge vorherigen Dialog behalten müssen, passen alle in das Fenster von 16.385 Token. Da das Modell Tools und strukturierte Ausgaben unterstützt, kann es auch für Workflows im Stil des Function Calling verwendet werden, bei denen das Modell ein Tool auswählt und Argumente zurückgibt, sowie für Antworten, die über response_format einem JSON-Schema entsprechen müssen. Logprobs und top_logprobs sind verfügbar, was hilft, wenn Sie die Konfidenz des Modells auf Token-Ebene und nicht nur den endgültigen Text prüfen müssen.

Sie rufen es über die OpenAI-kompatible API von api14 mit der Modell-ID "openai/gpt-3.5-turbo-16k" auf. Da der Endpunkt der Form der OpenAI-Chat-Completions folgt, funktionieren bestehende OpenAI-SDKs und Clients mit nur einer Änderung von Basis-URL und Schlüssel. Die unterstützten Anfrageparameter sind frequency_penalty, logit_bias, logprobs, max_completion_tokens, max_tokens, presence_penalty, response_format, seed, stop, structured_outputs, temperature, tool_choice, tools, top_logprobs und top_p. Seed ist nützlich, wenn Sie wiederholbares Sampling wünschen, und Stop-Sequenzen lassen Sie die Generierung begrenzen.

Zwei Einschränkungen sollten Sie abwägen, bevor Sie sich festlegen. Der Wissensstand vom September 2021 bedeutet, dass das Modell keine Kenntnis von späteren Ereignissen, Bibliotheken oder APIs hat, es sei denn, Sie liefern diesen Kontext selbst, und die Obergrenze der Ausgabe von 4.096 Token begrenzt, wie viel es in einer Antwort erzeugen kann, obwohl das Eingabefenster groß ist. Wenn Ihre Aufgabe aktuelleres Wissen, eine längere Ausgabe oder Bildeingabe erfordert, deckt dieses Modell das nicht ab, und ein anderes Modell auf api14 wäre die bessere Wahl.