OpenAI: GPT-3.5 Turbo (older v0613)

GPT-3.5 Turbo (ältere Version v0613) ist ein Textmodell von OpenAI, das unter der Modell-ID openai/gpt-3.5-turbo-0613 vertrieben wird. Es gehört zur Familie GPT-3.5 Turbo, die OpenAI als ihre schnellste Modellreihe beschreibt, und diese spezielle Version ist ein älterer Snapshot, der für Workloads verfügbar bleibt, die auf sein spezifisches Verhalten angewiesen sind. Seine Trainingsdaten reichen bis September 2021, daher hat es kein Wissen über Ereignisse nach diesem Zeitpunkt, es sei denn, Sie liefern die Informationen selbst im Prompt.

Das Modell akzeptiert Text als Eingabe und gibt Text als Ausgabe zurück, was es zu einem Allzweck-Sprachmodell für Chat- und traditionelle Completion-Aufgaben macht. Es kann natürliche Sprache sowie Code verstehen und generieren. Das Kontextfenster beträgt 4.095 Token, und die maximale Ausgabe beträgt 3.685 Token, sodass sich Prompt und Antwort ein recht knappes Budget teilen, verglichen mit größeren modernen Modellen. Es gibt hier keine Bild-, Audio- oder Dateieingabe; alles, was Sie senden, muss Text sein.

Da es sowohl Prosa als auch Code verarbeitet, eignet sich das Modell für eine Reihe alltäglicher Aufgaben: Chat-Assistenten und konversationelle Schnittstellen, das Verfassen und Umschreiben von Text, Zusammenfassung kurzer Dokumente, Klassifikation und Extraktion bei kleinen Eingaben sowie leichte Code-Generierung oder -Erklärung. Seine Unterstützung für Tools und strukturierte Ausgaben macht es zudem nutzbar für einfaches Function Calling und für die Erzeugung von Antworten in einem definierten Format, was hilft, wenn Sie maschinenlesbare Ausgabe statt Freitext benötigen. Das Fenster von 4.095 Token bedeutet, dass es für Prompts und Antworten geeignet ist, die bequem in ein paar Seiten Text passen, nicht für die Analyse langer Dokumente.

Sie rufen es über die OpenAI-kompatible API von api14 auf, indem Sie die Modell-ID openai/gpt-3.5-turbo-0613 in Ihrer Anfrage übergeben, sodass bestehende OpenAI SDKs und Client-Bibliotheken mit nur einer Änderung von Base-URL und Schlüssel funktionieren. Die unterstützten Anfrageparameter sind frequency_penalty, logit_bias, logprobs, max_completion_tokens, presence_penalty, response_format, seed, stop, structured_outputs, temperature, tool_choice, tools, top_logprobs und top_p. Das deckt Sampling-Steuerung, Determinismus über seed, Token-Level-Inspektion durch logprobs und top_logprobs sowie Tool- oder schema-gesteuerte Ausgabe durch tools, tool_choice, response_format und structured_outputs ab.

Die wichtigste Einschränkung, die Sie einplanen sollten, ist die Kontextlänge. Bei 4.095 Token mit einer Obergrenze von 3.685 Token für die Ausgabe müssen lange Konversationen, große Codebasen oder Prompts mit mehreren Dokumenten aufgeteilt, abgerufen oder gekürzt werden, und der Wissensstand vom September 2021 bedeutet, dass aktuelle Informationen aus Ihrem eigenen Kontext kommen müssen. Wenn Ihre Aufgabe ein viel größeres Fenster, neueres Wissen oder multimodale Eingabe erfordert, passt ein anderes Modell auf api14 wahrscheinlich besser. Für kurze Text- und Code-Aufgaben mit hohem Volumen, bei denen Geschwindigkeit zählt, bleibt dieses Modell eine vernünftige Wahl.