OpenAI: GPT-3.5 Turbo

GPT-3.5 Turbo ist ein Textmodell von OpenAI, das auf api14 als openai/gpt-3.5-turbo identifiziert wird. OpenAI beschreibt es als sein schnellstes Modell, und es wurde vom Anbieter am 2023-05-28 veröffentlicht. Es gehört zur Textkategorie und ist darauf ausgelegt, natürliche Sprache oder Code zu verstehen und zu generieren, mit Optimierung für Chat- und traditionelle Completion-Aufgaben. Wenn Sie ein universelles OpenAI-Modell für alltägliche Textarbeit wählen, ist dies der seit Langem etablierte Standard, um den herum ein Großteil des Ökosystems aufgebaut wurde.

Das Modell akzeptiert Text als Eingabe und gibt Text als Ausgabe zurück, es gibt also keine Bild-, Audio- oder Dateiverarbeitung einzuplanen. Sein Kontextfenster beträgt 16.385 Token, und die maximale Ausgabe liegt bei 4.096 Token, was bedeutet, dass lange Eingaben möglich sind, die Antwort selbst aber deutlich unter der Kontextgröße begrenzt ist. Der Wissensstand endet am 2021-09-30, alles nach diesem Datum muss also aus dem Prompt stammen und nicht aus dem Training. Unterstützte Anfrageparameter sind temperature, top_p, max_tokens, stop, frequency_penalty, presence_penalty, logit_bias, logprobs, top_logprobs, seed, response_format, tools und tool_choice.

Diese Fähigkeiten passen auf eine ziemlich breite Palette praktischer Aufgaben. Chat-Assistenten, Verfassen und Überarbeiten, Zusammenfassung von Dokumenten, die in das Kontextfenster passen, Klassifikation und Extraktion in eine feste Struktur, Codegenerierung oder Codeerklärung sind sinnvolle Einsatzbereiche, da das Modell natürliche Sprache verarbeitet. Da tools und tool_choice unterstützt werden, können Sie Funktionsschemata definieren und das Modell entscheiden lassen, wann es sie aufruft, was zu Agenten-Stil-Pipelines und Retrieval-Pipelines passt, in denen das Modell Daten anfordern muss. Der Parameter seed hilft, wenn Sie reproduzierbares Sampling wünschen, und response_format plus structured_outputs sind nützlich, wenn ein nachgelagerter Parser eine vorhersehbare Struktur statt freiem Text erwartet.

Der Aufruf über api14 funktioniert genauso wie bei jedem anderen OpenAI-kompatiblen Endpunkt. Senden Sie Ihre Anfrage an die Chat-Completions-Route mit der Modell-ID openai/gpt-3.5-turbo und verwenden Sie die oben aufgeführten Parameter im Anfrage-Body nach Bedarf. Wenn Sie bereits Code gegen das OpenAI SDK oder einen kompatiblen Client geschrieben haben, ist es normalerweise die einzige erforderliche Änderung, die Basis-URL auf api14 zu richten und die Modell-ID auszutauschen.

Zwei Einschränkungen sollten Sie bedenken, bevor Sie sich festlegen. Der Wissensstand vom 2021-09-30 bedeutet, dass das Modell nichts über aktuelle Ereignisse, Bibliotheken oder APIs weiß, es sei denn, Sie liefern diesen Kontext mit, und die Obergrenze von 4.096 Token bei der Ausgabe begrenzt, wie viel es in einer einzigen Antwort produzieren kann. Für sehr große Eingaben, sehr lange Generierungen oder Aufgaben, die auf aktuellem Wissen beruhen, kann ein anderes Modell auf api14 für Sie besser geeignet sein.