Cohere: Command R+ (08-2024)

Command R+ (08-2024) to model generowania tekstu od Cohere, udostępniony przez dostawcę 30 sierpnia 2024. Jest to aktualizacja wcześniejszego modelu Command R+, a Cohere opisuje go jako zapewniającego około 50 procent wyższą przepustowość i 25 procent niższe opóźnienia niż poprzednia wersja, przy zachowaniu tego samego zapotrzebowania na sprzęt. Jeśli korzystałeś wcześniej z Command R+, to jest to nowszy checkpoint tej samej linii, a nie inna rodzina modeli.

Model działa na zasadzie tekst na wejściu i tekst na wyjściu. Akceptuje do 128 000 tokenów kontekstu, co wystarcza na długie dokumenty, transkrypcje lub rozmowy wieloetapowe w jednym żądaniu. Wyjście jest ograniczone do 4000 tokenów na odpowiedź, więc nadaje się do odpowiedzi, podsumowań i ustrukturyzowanych ładunków, a nie do bardzo długich generowanych dokumentów. Jego data odcięcia wiedzy to 31 marca 2024, co oznacza, że wszystko po tej dacie musi pochodzić z promptu, z narzędzi lub z wyszukiwania. Obsługiwane parametry obejmują temperature, top_p, top_k, frequency_penalty, presence_penalty, max_tokens, stop, seed i response_format, a także tools, tool_choice i structured_outputs do wywoływania narzędzi i generowania z ograniczeniami.

Ten zestaw funkcji wskazuje na kilka praktycznych wzorców. Generowanie wspomagane wyszukiwaniem pasuje tu naturalnie: długi kontekst pozwala wkleić pobrane fragmenty obok pytania. Wywoływanie narzędzi i ustrukturyzowane wyjścia czynią go użytecznym jako krok rozumowania w agencie, gdzie model decyduje, którą funkcję wywołać, i zwraca argumenty w schemacie, który definiujesz. Ponieważ obsługiwane są zarówno tools, jak i response_format, możesz budować potoki łączące odpowiedzi w wolnym tekście z maszynowo czytelnym JSON. Okno 128 000 tokenów pomaga też przy podsumowywaniu długich raportów, wyodrębnianiu pól z umów lub odpowiadaniu na pytania dotyczące bazy kodu albo zestawu dokumentacji w jednym przebiegu.

Przez api14 wywołujesz go za pomocą punktu końcowego chat completions zgodnego z OpenAI i identyfikatora modelu "cohere/command-r-plus-08-2024". Żądania używają znanego formatu messages, więc istniejące klienty OpenAI SDK działają po skierowaniu bazowego adresu URL na api14 i zamianie nazwy modelu. Treść żądania może zawierać dowolny z obsługiwanych parametrów: temperature, top_p, top_k, frequency_penalty, presence_penalty, max_tokens, stop, seed, response_format, tools, tool_choice i structured_outputs. Pamiętaj, że max_tokens reguluje generowaną odpowiedź i nie może przekroczyć limitu 4000 tokenów wyjściowych, mimo że okno kontekstu jest znacznie większe.

Warto zaplanować dwie ograniczenia. Limit 4000 tokenów wyjściowych oznacza, że generowanie długich form, takich jak całe rozdziały lub duże pliki kodu w jednej odpowiedzi, może wymagać dzielenia na części lub modelu z wyższym limitem wyjścia. Data odcięcia wiedzy z marca 2024 oznacza również, że pytania wrażliwe na czas zależą od tego, co dostarczysz w prompcie lub przez narzędzia. Jeśli twoje obciążenie dotyczy głównie obrazów lub dźwięku, ten model nie jest odpowiedni, ponieważ obsługuje tylko tekst. W przypadku prostych zadań tekstowych w tych granicach jest rozsądnym domyślnym wyborem.