Cohere: Command R (08-2024)

Command R (08-2024) ist ein Textgenerierungsmodell von Cohere, das auf api14 als cohere/command-r-08-2024 identifiziert wird. Es ist eine Aktualisierung des früheren Command R Modells, das vom Anbieter am 30. August 2024 veröffentlicht wurde, und es behält dieselbe allgemeine Rolle in Coheres Aufstellung bei, während es das Original verbessert. Die Aktualisierung konzentriert sich auf bessere Leistung für mehrsprachige retrieval-augmentierte Generierung (RAG) und Tool-Nutzung, und es ist auch stärker in Mathematik, Code und Reasoning als die Version, die es ersetzt.

Das Modell arbeitet nur mit Text rein und Text raus. Es akzeptiert Text-Prompts und gibt Text-Vervollständigungen zurück, ohne Bild- oder Audio-Eingabe. Das Kontextfenster beträgt 128.000 Tokens, was groß genug ist, um lange Dokumente, mehrstufige Gespräche oder mehrere abgerufene Passagen zusammen mit den Anweisungen zu halten. Die maximale Ausgabe beträgt 4.000 Tokens pro Antwort, und der Wissensstichtag ist der 31. März 2024, sodass alles nach diesem Datum aus dem Prompt oder aus einem Tool-Aufruf kommen muss und nicht aus den eigenen Trainingsdaten des Modells.

Diese Fähigkeiten deuten auf einige praktische Verwendungen hin. Da mehrsprachiges RAG eine angegebene Stärke ist, eignet sich das Modell für Fragebeantwortung über eine Dokumentensammlung, bei der Anfragen und Quellen in verschiedenen Sprachen sein können, wobei abgerufene Chunks im langen Kontextfenster platziert werden. Tool-Nutzung und strukturierte Ausgaben machen es zu einer vernünftigen Wahl für Agenten und Workflows, die Funktionen aufrufen, Felder in ein Schema extrahieren oder eine Anfrage an ein anderes System weiterleiten müssen. Die Verbesserungen in Mathematik, Code und Reasoning machen es auch nutzbar für Analyseaufgaben, Code-Erklärung und schrittweise Problemlösung, obwohl die Obergrenze von 4.000 Tokens für die Ausgabe bedeutet, dass lange generierte Dateien oder sehr detaillierte Berichte über mehrere Aufrufe aufgeteilt werden müssen.

Sie rufen es über die OpenAI-kompatible API von api14 mit der Modell-ID cohere/command-r-08-2024 auf, sodass vorhandener OpenAI SDK-Code mit einer Änderung der Basis-URL und des Modellnamens funktioniert. Die unterstützten Anforderungsparameter sind frequency_penalty, max_tokens, presence_penalty, response_format, seed, stop, structured_outputs, temperature, tool_choice, tools, top_k und top_p. In der Praxis deckt das die Sampling-Steuerung ab (temperature, top_p, top_k), Wiederholungssteuerung (frequency und presence penalties), Ausgabelänge (max_tokens), Stoppsequenzen, deterministisch-ähnliches Sampling über seed sowie sowohl JSON-artiges response_format als auch structured_outputs für schema-beschränkte Ergebnisse. Tool-Nutzung wird mit tools und tool_choice konfiguriert.

Ein paar Grenzen sind es wert, vor der Festlegung gekannt zu werden. Eingabe und Ausgabe sind nur Text, wenn Sie also Vision oder Audio benötigen, ist dieses Modell nicht die richtige Wahl. Die Ausgabeobergrenze von 4.000 Tokens schließt es für Aufgaben aus, die sehr lange einzelne Antworten ausgeben müssen. Der Wissensstichtag vom 31. März 2024 bedeutet, dass aktuelle Informationen im Prompt bereitgestellt oder über Tools abgerufen werden müssen. Und da das Modell eher um RAG, Tool-Nutzung und Reasoning positioniert ist als als allgemeines Flaggschiff, kann ein anderes Modell besser passen, wenn Ihre Priorität etwas außerhalb dieser Bereiche ist.