Cohere: Command R (08-2024)

Command R (08-2024) to model generowania tekstu od Cohere, identyfikowany na api14 jako cohere/command-r-08-2024. Jest to aktualizacja wcześniejszego modelu Command R, wydana przez dostawcę 30 sierpnia 2024, która zachowuje tę samą ogólną rolę w ofercie Cohere, jednocześnie ulepszając oryginał. Aktualizacja koncentruje się na lepszej wydajności w wielojęzycznym generowaniu wspomaganym wyszukiwaniem (RAG) i korzystaniu z narzędzi, a także jest silniejsza w matematyce, kodzie i rozumowaniu niż wersja, którą zastępuje.

Model obsługuje wyłącznie tekst wejściowy i tekst wyjściowy. Przyjmuje polecenia tekstowe i zwraca uzupełnienia tekstowe, bez wejścia obrazowego lub audio. Okno kontekstowe wynosi 128 000 tokenów, co jest wystarczająco duże, aby pomieścić długie dokumenty, wieloetapowe rozmowy lub kilka pobranych fragmentów wraz z instrukcjami. Maksymalne wyjście to 4000 tokenów na odpowiedź, a data odcięcia wiedzy to 31 marca 2024, więc wszystko po tej dacie musi pochodzić z polecenia lub z wywołania narzędzia, a nie z danych treningowych modelu.

Te możliwości wskazują na kilka praktycznych zastosowań. Ponieważ wielojęzyczny RAG jest deklarowaną mocną stroną, model nadaje się do odpowiadania na pytania dotyczące zbioru dokumentów, w którym zapytania i źródła mogą być w różnych językach, a pobrane fragmenty są umieszczane w długim oknie kontekstowym. Korzystanie z narzędzi i ustrukturyzowane wyniki czynią go rozsądnym wyborem dla agentów i przepływów pracy, które muszą wywoływać funkcje, wyodrębniać pola do schematu lub kierować żądanie do innego systemu. Ulepszenia w matematyce, kodzie i rozumowaniu sprawiają również, że można go używać do zadań analitycznych, wyjaśniania kodu i rozwiązywania problemów krok po kroku, choć limit wyjścia 4000 tokenów oznacza, że długie generowane pliki lub bardzo szczegółowe raporty trzeba podzielić na kilka wywołań.

Wywołujesz go przez kompatybilne z OpenAI API api14, używając identyfikatora modelu cohere/command-r-08-2024, więc istniejący kod OpenAI SDK działa po zmianie bazowego adresu URL i nazwy modelu. Obsługiwane parametry żądania to frequency_penalty, max_tokens, presence_penalty, response_format, seed, stop, structured_outputs, temperature, tool_choice, tools, top_k i top_p. W praktyce obejmuje to kontrolę próbkowania (temperature, top_p, top_k), kontrolę powtórzeń (kary za częstotliwość i obecność), długość wyjścia (max_tokens), sekwencje stop, w miarę deterministyczne próbkowanie przez seed oraz zarówno response_format w stylu JSON, jak i structured_outputs dla wyników ograniczonych schematem. Korzystanie z narzędzi konfiguruje się za pomocą tools i tool_choice.

Przed podjęciem decyzji warto znać kilka ograniczeń. Wejście i wyjście są wyłącznie tekstowe, więc jeśli potrzebujesz wizji lub audio, ten model nie jest właściwym wyborem. Pułap 4000 tokenów na wyjściu wyklucza go z zadań, które muszą emitować bardzo długie pojedyncze odpowiedzi. Data odcięcia wiedzy 31 marca 2024 oznacza, że najnowsze informacje muszą być dostarczone w poleceniu lub pobrane przez narzędzia. A ponieważ model jest pozycjonowany wokół RAG, korzystania z narzędzi i rozumowania, a nie jako ogólny flagowiec, inny model może pasować lepiej, gdy twój priorytet wykracza poza te obszary.