OpenAI: GPT-3.5 Turbo Instruct

GPT-3.5 Turbo Instruct ist ein Textmodell von OpenAI, veröffentlicht am 28. September 2023. Es ist eine Variante von GPT-3.5 Turbo, die für instruktionale Prompts abgestimmt wurde, und sie lässt die chatbezogenen Optimierungen weg, die in den Konversationsmodellen von OpenAI zu finden sind. Seine Trainingsdaten reichen bis September 2021, was der angegebene Wissensstand ist.

Das Modell nimmt Text als Eingabe und gibt Text als Ausgabe zurück, daher passt es zu einfacher Completion-Arbeit und nicht zu multimodalen Aufgaben. Es hat eine Kontextlänge von 4095 Tokens und eine maximale Ausgabe von 3685 Tokens. Unterstützte Anfrageparameter umfassen temperature, top_p, max_tokens, stop, frequency_penalty, presence_penalty, logit_bias, logprobs, top_logprobs, seed, response_format und structured_outputs.

Da das Modell instruktionsabgestimmt und nicht chatoptimiert ist, passt es naturally zu Single-Turn-Prompt-zu-Completion-Arbeit. Typische Verwendungen umfassen das Entwerfen und Umschreiben von Text, Zusammenfassung, Klassifizierung, Extraktion in eine definierte Struktur und Generierungspipelines, bei denen Sie eine Anweisung senden und eine Antwort konsumieren. Strukturierte Ausgaben und response_format-Unterstützung sind nützlich, wenn nachgelagerter Code vorhersehbare Formen benötigt, und logprobs mit top_logprobs helfen, wenn Sie die Konfidenz auf Token-Ebene untersuchen möchten. Der seed-Parameter hilft, wenn Sie eine besser reproduzierbare Stichprobenziehung über Läufe hinweg wünschen.

Sie rufen das Modell über die OpenAI-kompatible API von api14 mit der Modell-ID "openai/gpt-3.5-turbo-instruct" auf. Anfragen folgen dem Schema im Stil der OpenAI-Chat-Completions, sodass vorhandene OpenAI-SDKs und Clients mit nur einer Änderung von Basis-URL und Schlüssel funktionieren. Senden Sie Ihre Anweisung als Inhalt der Benutzernachricht und setzen Sie einen der oben aufgeführten unterstützten Parameter. Beachten Sie, dass, da dieses Modell instruktionsabgestimmt und nicht chatoptimiert ist, als klare einzelne Anweisung geschriebene Prompts tendenziell besser zu ihm passen als lange mehrstufige Konversationen.

Die wichtigsten Einschränkungen, um die Sie planen sollten, sind die Kontextlänge von 4095 Tokens und der Wissensstand von September 2021, sodass alles, was aktuelle Informationen erfordert, im Prompt selbst bereitgestellt werden muss. Lange Dokumente, große Codedateien oder ausgedehnte mehrstufige Dialoge können das Fenster überschreiten oder hier weniger natürlich funktionieren. Wenn Sie ein konversationelles Hin und Her benötigen, ist ein chatoptimiertes Modell normalerweise eine bessere Wahl, und wenn Sie einen viel größeren Kontext benötigen, passt ein anderes Modell im Katalog besser.