Cohere: Command R+ (08-2024)

Command R+ (08-2024) ist ein Textgenerierungsmodell von Cohere, das vom Anbieter am 30. August 2024 veröffentlicht wurde. Es ist eine Aktualisierung des früheren Command R+ Modells, und Cohere beschreibt es als etwa 50 Prozent höheren Durchsatz und 25 Prozent niedrigere Latenzen im Vergleich zur vorherigen Version bietend, während der gleiche Hardware-Footprint beibehalten wird. Wenn Sie Command R+ bereits verwendet haben, ist dies der neuere Checkpoint derselben Linie und nicht eine andere Modellfamilie.

Das Modell arbeitet mit Text als Eingabe und Text als Ausgabe. Es akzeptiert bis zu 128.000 Token Kontext, was ausreicht, um lange Dokumente, Transkripte oder mehrrundige Konversationen in einer einzigen Anfrage unterzubringen. Die Ausgabe ist auf 4.000 Token pro Antwort begrenzt, sodass es für Antworten, Zusammenfassungen und strukturierte Nutzlasten geeignet ist, weniger für sehr lange generierte Dokumente. Der Wissensstichtag ist der 31. März 2024, was bedeutet, dass alles nach diesem Datum aus dem Prompt, aus Tools oder aus Retrieval kommen muss. Die unterstützten Parameter umfassen temperature, top_p, top_k, frequency_penalty, presence_penalty, max_tokens, stop, seed und response_format, plus tools, tool_choice und structured_outputs für Tool-Aufrufe und eingeschränkte Generierung.

Dieses Funktionsset deutet auf einige praktische Muster hin. Retrieval Augmented Generation passt natürlich: Der lange Kontext ermöglicht es, abgerufene Passagen zusammen mit der Frage einzufügen. Tool-Aufrufe und strukturierte Ausgaben machen es als Denkschritt in einem Agenten nutzbar, bei dem das Modell entscheidet, welche Funktion aufgerufen werden soll, und Argumente in einem von Ihnen definierten Schema zurückgibt. Da sowohl tools als auch response_format unterstützt werden, können Sie Pipelines erstellen, die Freitextantworten mit maschinenlesbarem JSON mischen. Das Fenster von 128.000 Token hilft auch beim Zusammenfassen langer Berichte, beim Extrahieren von Feldern aus Verträgen oder beim Beantworten von Fragen über eine Codebasis oder Dokumentationssammlung in einem Durchgang.

Über api14 rufen Sie es mit dem OpenAI-kompatiblen Chat-Completions-Endpunkt und der Modell-ID "cohere/command-r-plus-08-2024" auf. Anfragen verwenden das vertraute messages-Format, sodass vorhandene OpenAI SDK-Clients funktionieren, nachdem die Basis-URL auf api14 gezeigt und der Modellname ausgetauscht wurde. Der Anfragetext kann jeden der unterstützten Parameter tragen: temperature, top_p, top_k, frequency_penalty, presence_penalty, max_tokens, stop, seed, response_format, tools, tool_choice und structured_outputs. Beachten Sie, dass max_tokens die generierte Antwort steuert und die Ausgabegrenze von 4.000 Token nicht überschreiten kann, obwohl das Kontextfenster viel größer ist.

Zwei Einschränkungen sollten bei der Planung berücksichtigt werden. Das Ausgabelimit von 4.000 Token bedeutet, dass langformige Generierung, etwa ganze Kapitel oder große Codedateien in einer Antwort, Aufteilung oder ein Modell mit einer höheren Ausgabeobergrenze erfordern kann. Der Wissensstichtag März 2024 bedeutet außerdem, dass zeitkritische Fragen davon abhängen, was Sie im Prompt oder über Tools bereitstellen. Wenn Ihre Arbeitslast überwiegend Bilder oder Audio betrifft, ist dieses Modell nicht passend, da es nur Text verarbeitet. Für einfache Textaufgaben innerhalb dieser Grenzen ist es eine vernünftige Standardwahl.