OpenAI: gpt-oss-20b (batch)

OpenAI: gpt-oss-20b (batch) to model tekstowy o otwartych wagach od OpenAI, wydany na licencji Apache 2.0. To model o 21B parametrów zbudowany na architekturze Mixture-of-Experts (MoE) z 3.6B aktywnych parametrów na jedno przejście w przód. Wariant batch jest udostępniany przez api14 jako endpoint generowania tekstu, a identyfikator modelu używany w żądaniach to openai/gpt-oss-20b:batch.

Model przyjmuje dane wejściowe w postaci tekstu i generuje dane wyjściowe w postaci tekstu. Ma okno kontekstu wynoszące 131072 tokeny i maksymalne wyjście 117964 tokenów, a granica wiedzy to 2024-06-30. Ponieważ jest to model zdolny do rozumowania, żądania mogą włączać wyjście rozumowania i kontrolować, ile wysiłku rozumowania zostanie zastosowane. Obsługuje również ustrukturyzowane wyjścia i formaty odpowiedzi, co czyni go odpowiednim do zadań, w których liczy się kształt zwracanego tekstu, a nie tylko jego treść.

Te możliwości wskazują na dość szeroki zestaw praktycznych zastosowań. Obsługa długiego kontekstu pasuje do streszczania dokumentów, przeglądu kodu z wielu plików i odpowiadania na pytania na podstawie dużych materiałów referencyjnych. Wsparcie rozumowania pomaga w problemach wieloetapowych, planowaniu i analizie, gdzie model korzysta z przechodzenia przez kroki pośrednie. Wywoływanie narzędzi i ustrukturyzowane wyjścia pasują do przepływów pracy w stylu agentowym, ekstrakcji danych do stałych schematów oraz potoków wymagających odpowiedzi czytelnych maszynowo. Wariant batch jest przeznaczony do obciążeń, w których przepustowość liczy się bardziej niż natychmiastowa interaktywność, takich jak generowanie offline, klasyfikacja masowa i wzbogacanie zbiorów danych.

Aby wywołać go przez api14, użyj interfejsu chat completions zgodnego z OpenAI z identyfikatorem modelu openai/gpt-oss-20b:batch. Treść żądania przyjmuje frequency_penalty, include_reasoning, logit_bias, max_tokens, min_p, presence_penalty, reasoning, reasoning_effort, repetition_penalty, response_format, seed, stop, structured_outputs, temperature, tool_choice, tools, top_k i top_p. Jeśli już używasz biblioteki klienta OpenAI, możesz wskazać jej bazowy adres URL api14 i zachować istniejącą strukturę żądania, dostosowując tylko identyfikator modelu i parametry, które chcesz ustawić.

Pamiętaj o granicy wiedzy: model nie zna zdarzeń po 2024-06-30, więc wszystko, co zależy od czasu, może wymagać wyszukiwania lub innego modelu. Dane wejściowe są tylko tekstowe, więc zadania związane z obrazem lub dźwiękiem wykraczają poza jego zakres. Jeśli Twoje obciążenie wymaga interaktywnych odpowiedzi o niskim opóźnieniu, a nie przetwarzania wsadowego, lepszym rozwiązaniem może być wdrożenie inne niż batch.