OpenAI: GPT-3.5 Turbo (older v0613)

GPT-3.5 Turbo (starsza wersja v0613) to model tekstowy od OpenAI, dystrybuowany pod identyfikatorem modelu openai/gpt-3.5-turbo-0613. Należy do rodziny GPT-3.5 Turbo, którą OpenAI opisuje jako swoją najszybszą linię modeli, a ta konkretna wersja jest starszym snapshotem, który pozostaje dostępny dla obciążeń zależnych od jego specyficznego zachowania. Jego dane treningowe sięgają września 2021 roku, więc nie ma wiedzy o zdarzeniach po tym momencie, chyba że sam dostarczysz te informacje w prompcie.

Model przyjmuje tekst jako dane wejściowe i zwraca tekst jako dane wyjściowe, co czyni go modelem językowym ogólnego przeznaczenia do czatu i tradycyjnych zadań uzupełniania. Potrafi rozumieć i generować język naturalny oraz kod. Okno kontekstu wynosi 4 095 tokenów, a maksymalna długość odpowiedzi to 3 685 tokenów, więc zarówno prompt, jak i odpowiedź dzielą dość ciasny budżet w porównaniu z większymi nowoczesnymi modelami. Nie ma tu wejścia obrazowego, audio ani plikowego; wszystko, co wysyłasz, musi być tekstem.

Ponieważ obsługuje zarówno prozę, jak i kod, model pasuje do wielu codziennych zadań: asystentów czatu i interfejsów konwersacyjnych, tworzenia i przepisywania tekstu, streszczania krótkich dokumentów, klasyfikacji i ekstrakcji na małych danych wejściowych oraz lekkiego generowania lub wyjaśniania kodu. Jego obsługa narzędzi i ustrukturyzowanych danych wyjściowych sprawia również, że nadaje się do prostego wywoływania funkcji i do tworzenia odpowiedzi w zdefiniowanym formacie, co pomaga, gdy potrzebujesz danych czytelnych maszynowo, a nie swobodnego tekstu. Okno 4 095 tokenów oznacza, że pasuje do promptów i odpowiedzi, które mieszczą się swobodnie w kilku stronach tekstu, a nie do analizy długich dokumentów.

Wywołujesz go przez API api14 zgodne z OpenAI, przekazując identyfikator modelu openai/gpt-3.5-turbo-0613 w swoim żądaniu, więc istniejące zestawy SDK i biblioteki klienckie OpenAI działają po zmianie jedynie bazowego adresu URL i klucza. Obsługiwane parametry żądania to frequency_penalty, logit_bias, logprobs, max_completion_tokens, presence_penalty, response_format, seed, stop, structured_outputs, temperature, tool_choice, tools, top_logprobs oraz top_p. Obejmuje to kontrolę próbkowania, determinizm przez seed, inspekcję na poziomie tokenów przez logprobs i top_logprobs oraz dane wyjściowe oparte na narzędziach lub schematach przez tools, tool_choice, response_format i structured_outputs.

Głównym ograniczeniem, które trzeba uwzględnić w planowaniu, jest długość kontekstu. Przy 4 095 tokenach i pułapie odpowiedzi wynoszącym 3 685 tokenów długie rozmowy, duże bazy kodu lub prompty wielodokumentowe będą wymagały dzielenia na fragmenty, wyszukiwania lub przycinania, a data odcięcia wiedzy we wrześniu 2021 roku oznacza, że najnowsze informacje muszą pochodzić z twojego własnego kontekstu. Jeśli twoje zadanie wymaga znacznie większego okna, nowszej wiedzy lub wejścia multimodalnego, inny model na api14 prawdopodobnie będzie lepiej dopasowany. W przypadku krótkich, masowych zadań tekstowych i kodowych, w których liczy się szybkość, ten model pozostaje rozsądnym wyborem.