OpenAI: GPT-3.5 Turbo Instruct

GPT-3.5 Turbo Instruct to model tekstowy od OpenAI, wydany 28 września 2023. Jest to wariant GPT-3.5 Turbo dostrojony do promptów instrukcyjnych, który pomija optymalizacje związane z czatem, obecne w modelach konwersacyjnych OpenAI. Jego dane treningowe sięgają września 2021, co stanowi podany punkt odcięcia wiedzy.

Model przyjmuje tekst jako dane wejściowe i zwraca tekst jako dane wyjściowe, więc nadaje się do pracy w stylu zwykłego uzupełniania, a nie do zadań multimodalnych. Ma długość kontekstu 4095 tokenów i maksymalne wyjście 3685 tokenów. Obsługiwane parametry żądania obejmują temperature, top_p, max_tokens, stop, frequency_penalty, presence_penalty, logit_bias, logprobs, top_logprobs, seed, response_format oraz structured_outputs.

Ponieważ model jest dostrojony instrukcyjnie, a nie zoptymalizowany pod czat, naturalnym zastosowaniem jest praca typu pojedynczy prompt do uzupełnienia. Typowe zastosowania obejmują tworzenie i przepisywanie tekstu, streszczanie, klasyfikację, ekstrakcję do zdefiniowanej struktury oraz potoki generowania, w których wysyłasz jedną instrukcję i zużywasz jedną odpowiedź. Obsługa structured outputs i response_format jest przydatna, gdy dalszy kod potrzebuje przewidywalnych kształtów, a logprobs z top_logprobs pomagają, gdy chcesz sprawdzić pewność na poziomie tokenów. Parametr seed pomaga, gdy chcesz uzyskać bardziej powtarzalne próbkowanie między uruchomieniami.

Model wywołujesz przez API zgodne z OpenAI w api14, używając identyfikatora modelu "openai/gpt-3.5-turbo-instruct". Żądania są zgodne ze schematem stylu OpenAI chat completions, więc istniejące zestawy SDK i klienty OpenAI działają po zmianie tylko bazowego URL i klucza. Wyślij swoją instrukcję jako treść wiadomości użytkownika i ustaw dowolny z obsługiwanych parametrów wymienionych powyżej. Pamiętaj, że ponieważ ten model jest dostrojony instrukcyjnie, a nie zoptymalizowany pod czat, prompty napisane jako jasna pojedyncza instrukcja zwykle pasują do niego lepiej niż długie rozmowy wieloetapowe.

Główne ograniczenia, które trzeba uwzględnić w planowaniu, to długość kontekstu 4095 tokenów oraz punkt odcięcia wiedzy wrzesień 2021, więc wszystko, co wymaga niedawnych informacji, musi zostać dostarczone w samym prompcie. Długie dokumenty, duże pliki kodu lub rozbudowane dialogi wieloetapowe mogą przekroczyć okno lub działać tu mniej naturalnie. Jeśli potrzebujesz konwersacyjnej wymiany zdań, model zoptymalizowany pod czat jest zwykle lepszym dopasowaniem, a jeśli potrzebujesz znacznie większego kontekstu, lepiej pasować będzie inny model z katalogu.