Writer: Palmyra X5

Autor: Palmyra X5 to model tekstowy od Writer, wymieniony na api14 pod identyfikatorem modelu writer/palmyra-x5. Writer opisuje go jako swój najbardziej zaawansowany model, stworzony specjalnie do budowania i skalowania agentów AI w całym przedsiębiorstwie. Należy do kategorii tekstowej, więc jest ukierunkowany na pracę z językiem, a nie na obraz, dźwięk czy inne modalności.

Model przyjmuje tekst na wejściu i zwraca tekst na wyjściu. Jego okno kontekstu wynosi 1 040 000 tokenów, czyli nieco ponad milion tokenów, a maksymalne wyjście to 8 192 tokeny. Własny opis Writer podkreśla wiodącą w branży szybkość i wydajność przy oknach kontekstu do 1 miliona tokenów, więc duże okno jest celową częścią projektu, a nie przypadkową liczbą. Nie ma tu wejścia wizyjnego ani audio; wszystko, co wysyłasz, musi być tekstem.

To połączenie bardzo dużego okna kontekstu i umiarkowanego limitu wyjścia kształtuje praktyczne przypadki użycia. Długie dokumenty, duże bazy kodu, rozbudowane transkrypcje i zestawy wielu dokumentów można dostarczyć w jednym żądaniu bez dzielenia na fragmenty, co pasuje do przepływów pracy agentów opartych na wyszukiwaniu, streszczania długich źródeł, odpowiadania na pytania na podstawie dużego materiału referencyjnego oraz zadań ekstrakcji, w których odpowiedź jest krótka, ale dowody są rozproszone po wielu stronach. Ponieważ wyjście jest ograniczone do 8 192 tokenów, najlepiej sprawdza się, gdy potrzebujesz skupionej odpowiedzi, a nie długiego generowanego dokumentu.

Wywołujesz go przez zgodne z OpenAI API api14, używając identyfikatora modelu writer/palmyra-x5, więc istniejące biblioteki klienta OpenAI i kształty żądań działają bez specjalnej obsługi. Obsługiwane parametry żądania to max_tokens, stop, temperature, top_k i top_p. Użyj max_tokens, aby ograniczyć odpowiedź w ramach limitu wyjścia 8 192, stop, aby zdefiniować, gdzie generowanie ma się zatrzymać, oraz temperature, top_k i top_p, aby kontrolować próbkowanie. Żadne inne parametry nie są wymienione jako obsługiwane, więc ogranicz żądania do tego zestawu.

Głównym ograniczeniem, które trzeba uwzględnić w planowaniu, jest limit wyjścia wynoszący 8 192 tokeny. Jeśli twoim zadaniem jest wygenerowanie długiego raportu, pełnego pliku lub rozbudowanego tekstu w jednym przebiegu, ten model utnie wynik, zanim skończysz, a lepiej może pasować model z większym limitem wyjścia. Palmyra X5 jest najsilniejsza, gdy wejście jest duże, a wymagana odpowiedź stosunkowo krótka.