OpenAI: GPT-4 Turbo

GPT-4 Turbo to model generowania tekstu od OpenAI, wymieniony na api14 pod identyfikatorem modelu openai/gpt-4-turbo. To najnowszy wariant GPT-4 Turbo i dodaje możliwości wizyjne do linii GPT-4 Turbo. OpenAI opisuje go jako obsługujący żądania wizyjne obok trybu JSON i wywoływania funkcji, a jego dane treningowe sięgają grudnia 2023.

Model przyjmuje tekst i obrazy jako dane wejściowe i zwraca tekst. Ma okno kontekstowe wynoszące 128 000 tokenów, co pozwala na obsługę długich dokumentów, rozszerzonych rozmów i wielu obrazów w pojedynczym żądaniu. Maksymalne wyjście to 4096 tokenów, więc odpowiedzi są ograniczone nawet przy dużym wejściu. Jego punkt odcięcia wiedzy to 2023-12-31, co oznacza, że nie ma świadomości zdarzeń po tej dacie, chyba że dostarczysz informacje w prompcie.

Ponieważ odczytuje obrazy oraz tekst, model nadaje się do zadań takich jak opisywanie lub wyodrębnianie informacji ze zrzutów ekranu, diagramów, wykresów i zeskanowanych dokumentów, odpowiadanie na pytania dotyczące przesłanego obrazu lub łączenie kontekstu wizualnego z pisemną instrukcją. Duże okno kontekstowe czyni go rozsądnym wyborem do streszczania długich raportów, przeglądania pokaźnych plików kodu lub umów oraz prowadzenia długich wieloetapowych rozmów. Wywoływanie narzędzi i ustrukturyzowane wyjścia pozwalają budować przepływy pracy, w których model wybiera funkcje lub zwraca dane w zdefiniowanym kształcie, co jest przydatne dla agentów, potoków ekstrakcji i integracji wymagających wyników czytelnych maszynowo.

Wywołujesz go przez API zgodne z OpenAI w api14, używając identyfikatora modelu openai/gpt-4-turbo, więc istniejące zestawy SDK i klienty OpenAI działają po zmianie tylko bazowego adresu URL i klucza. Obsługiwane parametry żądania to frequency_penalty, logit_bias, logprobs, max_tokens, presence_penalty, response_format, seed, stop, structured_outputs, temperature, tool_choice, tools, top_logprobs i top_p. Obejmuje to kontrolę próbkowania, zachowanie w miarę deterministyczne poprzez seed, limity tokenów, sekwencje zatrzymania, inspekcję prawdopodobieństwa przez logprobs i top_logprobs, formatowanie ustrukturyzowanego wyjścia oraz wywoływanie funkcji lub narzędzi z tool_choice.

Dwa ograniczenia warto zauważyć przy wyborze tego modelu. Wyjście jest ograniczone do 4096 tokenów, więc zadania wymagające bardzo długich pojedynczych odpowiedzi mogą wymagać podziału na fragmenty lub modelu z wyższym limitem wyjścia. Punkt odcięcia wiedzy 2023-12-31 oznacza, że pytania o nowsze zdarzenia zależą od kontekstu, który podasz. Jeśli twoje obciążenie jest wyłącznie tekstowe i nie korzysta z wejścia obrazowego, model skupiony na tekście może być prostszym wyborem, ale dla mieszanych żądań tekstowych i obrazowych w kontekście 128 000 tokenów ten model pokrywa typowe przypadki.