OpenAI: GPT-3.5 Turbo

GPT-3.5 Turbo to model tekstowy od OpenAI, identyfikowany w api14 jako openai/gpt-3.5-turbo. OpenAI opisuje go jako swój najszybszy model, a dostawca udostępnił go 2023-05-28. Należy do kategorii tekstowych i jest zbudowany do rozumienia oraz generowania języka naturalnego lub kodu, z optymalizacją pod czat i tradycyjne zadania uzupełniania. Jeśli wybierasz ogólnego przeznaczenia model OpenAI do codziennej pracy z tekstem, to jest to od dawna domyślny wybór, wokół którego zbudowana jest duża część ekosystemu.

Model przyjmuje tekst jako dane wejściowe i zwraca tekst jako dane wyjściowe, więc nie ma potrzeby planowania obsługi obrazów, dźwięku ani plików. Jego okno kontekstu wynosi 16 385 tokenów, a maksymalna długość danych wyjściowych to 4 096 tokenów, co oznacza, że długie dane wejściowe są możliwe, ale sama odpowiedź jest ograniczona znacznie poniżej rozmiaru kontekstu. Data odcięcia wiedzy to 2021-09-30, więc wszystko po tej dacie musi pochodzić z promptu, a nie z danych treningowych modelu. Obsługiwane parametry żądania obejmują temperature, top_p, max_tokens, stop, frequency_penalty, presence_penalty, logit_bias, logprobs, top_logprobs, seed, response_format, structured_outputs, tools oraz tool_choice.

Te możliwości przekładają się na dość szeroki zestaw praktycznych zastosowań. Asystenci czatu, tworzenie i przepisywanie tekstu, streszczanie dokumentów mieszczących się w oknie kontekstu, klasyfikacja i ekstrakcja do ustalonego kształtu oraz generowanie lub wyjaśnianie kodu to rozsądne zastosowania, ponieważ model obsługuje zarówno język naturalny, jak i kod. Ponieważ obsługiwane są tools i tool_choice, można definiować schematy funkcji i pozwolić modelowi zdecydować, kiedy je wywołać, co pasuje do przepływów pracy w stylu agentów oraz potoków wyszukiwania, w których model musi zażądać danych. Parametr seed pomaga, gdy chcesz uzyskać powtarzalne próbkowanie, a response_format oraz structured_outputs są przydatne, gdy dalszy parser oczekuje przewidywalnej struktury, a nie swobodnej prozy.

Wywoływanie go przez api14 działa tak samo jak w przypadku każdego innego punktu końcowego zgodnego z OpenAI. Wyślij żądanie do trasy chat completions z identyfikatorem modelu openai/gpt-3.5-turbo i użyj w treści żądania wymienionych powyżej parametrów w razie potrzeby. Jeśli masz już kod napisany pod OpenAI SDK lub zgodnego klienta, ustawienie bazowego adresu URL na api14 i zamiana identyfikatora modelu to zwykle jedyna wymagana zmiana.

Dwa ograniczenia warto mieć na uwadze przed podjęciem decyzji. Data odcięcia wiedzy 2021-09-30 oznacza, że model nie będzie znał ostatnich wydarzeń, bibliotek ani interfejsów API, chyba że dostarczysz ten kontekst, a limit danych wyjściowych wynoszący 4 096 tokenów ogranicza to, ile może wygenerować w jednej odpowiedzi. W przypadku bardzo dużych danych wejściowych, bardzo długich generacji lub zadań zależnych od niedawnej wiedzy lepiej może posłużyć inny model w api14.