OpenAI: GPT-3.5 Turbo 16k

GPT-3.5 Turbo 16k to model tekstowy od OpenAI, udostępniony przez dostawcę 28 sierpnia 2023 roku. Należy do rodziny GPT-3.5 i jest wariantem standardowego GPT-3.5 Turbo z długim kontekstem, oferującym około czterokrotnie większą długość kontekstu niż ten model. Jest to model języka ogólnego przeznaczenia, a nie specjalistyczny, i jest skierowany do programistów, którzy potrzebują więcej miejsca w pojedynczym żądaniu, niż zapewnia podstawowy GPT-3.5 Turbo.

Model przyjmuje tekst jako dane wejściowe i zwraca tekst jako dane wyjściowe. Jego okno kontekstowe wynosi 16 385 tokenów, a maksymalne dane wyjściowe to 4 096 tokenów. Granica wiedzy to 30 września 2021 roku, więc wszystko po tej dacie znajduje się poza jego danymi treningowymi. Większy kontekst jest tutaj głównym wyróżnikiem: OpenAI opisuje go jako obsługujący około 20 stron tekstu w pojedynczym żądaniu, co czyni go odpowiednim dla promptów zawierających dużo materiału źródłowego, a nie krótkiej instrukcji.

Ta pojemność kształtuje praktyczne przypadki użycia. Streszczanie długich dokumentów, odpowiadanie na pytania na podstawie wklejonego korpusu, wyodrębnianie ustrukturyzowanych pól z obszernych raportów oraz rozmowy wieloetapowe, które muszą zachować dużą ilość wcześniejszego dialogu, mieszczą się w oknie 16 385 tokenów. Ponieważ model obsługuje narzędzia i ustrukturyzowane dane wyjściowe, można go również używać w przepływach pracy w stylu wywoływania funkcji, gdzie model wybiera narzędzie i zwraca argumenty, oraz do odpowiedzi, które muszą być zgodne ze schematem JSON poprzez response_format. Logprobs i top_logprobs są dostępne, co pomaga, gdy trzeba sprawdzić pewność modelu na poziomie tokenów, a nie tylko końcowy tekst.

Wywołujesz go przez API zgodne z OpenAI w api14, używając identyfikatora modelu "openai/gpt-3.5-turbo-16k". Ponieważ punkt końcowy ma kształt uzupełnień czatu OpenAI, istniejące zestawy SDK i klienty OpenAI działają po zmianie jedynie bazowego adresu URL i klucza. Obsługiwane parametry żądania to frequency_penalty, logit_bias, logprobs, max_completion_tokens, max_tokens, presence_penalty, response_format, seed, stop, structured_outputs, temperature, tool_choice, tools, top_logprobs i top_p. Seed jest przydatny, gdy chcesz uzyskać powtarzalne próbkowanie, a sekwencje stop pozwalają ograniczyć generowanie.

Dwa ograniczenia warto rozważyć przed podjęciem decyzji. Granica wiedzy z września 2021 roku oznacza, że model nie ma świadomości późniejszych wydarzeń, bibliotek ani API, chyba że sam dostarczysz ten kontekst, a pułap wynoszący 4 096 tokenów na dane wyjściowe ogranicza to, ile może wygenerować w jednej odpowiedzi, nawet jeśli okno wejściowe jest duże. Jeśli Twoje zadanie wymaga nowszej wiedzy, dłuższych danych wyjściowych lub danych wejściowych w postaci obrazu, ten model tego nie obejmuje, a lepszym wyborem byłby inny model w api14.