Cohere: Command R7B (12-2024)

Command R7B (12-2024) to model tekstowy od Cohere, udostępniony przez dostawcę 14 grudnia 2024. Jest opisywany jako mała, szybka aktualizacja modelu Command R+, co plasuje go w rodzinie modeli językowych Command od Cohere, ukierunkowanej na praktyczne obciążenia oparte na narzędziach, a nie wyłącznie na ogólny czat. Jeśli znasz już linię Command, to jest kompaktowy, szybszy wariant, który warto rozważyć, gdy chcesz zachować ten sam styl pokrycia zadań bez dużego modelu.

Model przyjmuje tekst i zwraca tekst, z oknem kontekstu wynoszącym 128 000 tokenów i maksymalnym wyjściem 4 000 tokenów. Jego data odcięcia wiedzy to 31 sierpnia 2024, więc wszystko po tej dacie wykracza poza to, czego nauczył się podczas treningu. Cohere pozycjonuje go jako mocnego w generowaniu wspomaganym wyszukiwaniem, użyciu narzędzi, agentach i podobnych zadaniach wymagających złożonego rozumowania. To są możliwości, wokół których należy planować: długie dane wejściowe, praca ustrukturyzowana lub zorientowana na narzędzia oraz wieloetapowe rozumowanie, a nie czysto kreatywne pisanie.

Ta kombinacja wskazuje na dość konkretny zestaw przypadków użycia. Potoki RAG są oczywistym dopasowaniem, ponieważ kontekst 128k pozwala zmieścić pobrane dokumenty razem z pytaniem bez agresywnego przycinania. Użycie narzędzi i pętle agentów wynikają z tych samych mocnych stron, na przykład model decyduje, którą funkcję wywołać, odczytuje wynik i kontynuuje. Ponieważ obsługiwane są ustrukturyzowane wyjścia, można go również używać do zadań ekstrakcji i klasyfikacji, w których odpowiedź musi być zgodna ze schematem. Warto zauważyć limit wyjścia wynoszący 4 000 tokenów: nadaje się do odpowiedzi, podsumowań i wywołań narzędzi, ale nie do generowania długich dokumentów w jednej odpowiedzi.

Wywołujesz go przez API zgodne z OpenAI od api14, używając identyfikatora modelu "cohere/command-r7b-12-2024". Ponieważ interfejs podąża za kształtem uzupełnień czatu OpenAI, istniejące zestawy SDK i klienty OpenAI generalnie działają po zmianie tylko bazowego adresu URL i identyfikatora modelu. Obsługiwane parametry żądania to frequency_penalty, max_tokens, presence_penalty, response_format, seed, stop, structured_outputs, temperature, top_k i top_p. Obecność seed jest przydatna, gdy chcesz uzyskać powtarzalne próbkowanie, a response_format oraz structured_outputs to te, po które warto sięgnąć, gdy dalszy kod potrzebuje możliwego do przetworzenia wyjścia.

Jeśli chodzi o limity, główne podane ograniczenia to maksymalne wyjście 4 000 tokenów oraz data odcięcia wiedzy 31 sierpnia 2024. Jeśli Twoje zadanie zależy od bardzo świeżych informacji, będziesz musiał dostarczyć je w prompcie lub przez wyszukiwanie, zamiast polegać na własnej wiedzy modelu. Jeśli potrzebujesz wejścia obrazowego lub audio, ten model ich nie przyjmuje, ponieważ obsługuje tylko tekst. W tych granicach jest rozsądnym domyślnym wyborem dla RAG, agentów i ustrukturyzowanych zadań tekstowych, w których szybkość i długie okno wejściowe mają większe znaczenie niż generowanie długich form.