OpenAI: GPT-4 Turbo (batch)

GPT-4 Turbo (batch) to model generowania tekstu od OpenAI, oferowany na api14 pod identyfikatorem modelu openai/gpt-4-turbo:batch. Jest to wariant batchowy linii GPT-4 Turbo od OpenAI, wersja, która dodała możliwości wizyjne. api14 kieruje do niego żądania przez ten sam interfejs zgodny z OpenAI, którego używasz dla innych modeli na platformie, więc nie jest potrzebny osobny zestaw SDK ani dodatkowa praca integracyjna.

Model przyjmuje dane wejściowe w postaci tekstu i obrazów oraz generuje dane wyjściowe w postaci tekstu, co oznacza, że możesz łączyć polecenia i obrazy w jednym żądaniu, jeśli to pomaga. Obsługuje okno kontekstu wynoszące 128 000 tokenów, a odpowiedzi mogą mieć do 4096 tokenów. Jego dane treningowe sięgają grudnia 2023. Żądania wizyjne działają razem z trybem JSON i wywoływaniem funkcji, więc ustrukturyzowane dane wyjściowe i użycie narzędzi nie są ograniczone do wywołań wyłącznie tekstowych.

Te możliwości wskazują na kilka praktycznych wzorców. Długie dokumenty, bazy kodu lub transkrypcje mieszczą się swobodnie w oknie 128 000 tokenów, więc streszczanie, ekstrakcja i odpowiadanie na pytania dotyczące dużych danych wejściowych są wykonalne bez intensywnego dzielenia na fragmenty. Ponieważ obrazy są przyjmowane jako dane wejściowe, analiza zrzutów ekranu, interpretacja diagramów i przetwarzanie dokumentów ze zeskanowanych stron również wchodzą w zakres. Wywoływanie funkcji i ustrukturyzowane dane wyjściowe sprawiają, że model jest rozsądnym wyborem dla agentów, przepływów pracy korzystających z narzędzi i potoków wymagających odpowiedzi czytelnych maszynowo, a tryb JSON utrzymuje przewidywalność dalszego przetwarzania.

Aby wywołać go na api14, wyślij żądanie do punktu końcowego chat completions z polem model ustawionym na openai/gpt-4-turbo:batch, dokładnie tak, jak zrobiłbyś to z własnym API OpenAI. Model obsługuje frequency_penalty, logit_bias, logprobs, max_tokens, presence_penalty, response_format, seed, stop, structured_outputs, temperature, tool_choice, tools, top_logprobs i top_p. Obejmuje to kontrolę próbkowania, determinizm przez seed, limity tokenów, sekwencje stop, ustrukturyzowane formaty danych wyjściowych i definicje narzędzi, więc większość standardowych treści żądań w stylu OpenAI działa bez zmian.

Dwa ograniczenia warto zauważyć przed podjęciem decyzji. Dane wyjściowe są ograniczone do 4096 tokenów na odpowiedź, więc zadania wymagające bardzo długich pojedynczych uzupełnień mogą wymagać podziału na kilka wywołań, a granica wiedzy z grudnia 2023 oznacza, że model nie ma świadomości niczego po tej dacie, chyba że dostarczysz to w poleceniu. Jeśli Twoje obciążenie wymaga nowszej wiedzy, większych budżetów na dane wyjściowe lub innego profilu kosztów, sprawdź inne modele dostępne na api14, zanim zdecydujesz się na ten.