Cohere: Command R7B (12-2024)

Command R7B (12-2024) ist ein Textmodell von Cohere, das vom Anbieter am 14. Dezember 2024 veröffentlicht wurde. Es wird als kleines, schnelles Update des Command R+ Modells beschrieben, was es in Coheres Command-Familie von Sprachmodellen einordnet, die auf praktische, werkzeuggesteuerte Arbeitslasten statt nur auf allgemeinen Chat ausgerichtet sind. Wenn Sie die Command-Reihe bereits kennen, ist dies die kompakte, schnellere Variante, die Sie in Betracht ziehen sollten, wenn Sie die gleiche Art der Aufgabenabdeckung ohne ein großes Modell wünschen.

Das Modell nimmt Text entgegen und gibt Text aus, mit einem Kontextfenster von 128.000 Tokens und einer maximalen Ausgabe von 4.000 Tokens. Sein Wissensstichtag ist der 31. August 2024, sodass alles nach diesem Datum außerhalb dessen liegt, was es während des Trainings gelernt hat. Cohere positioniert es als stark bei Retrieval Augmented Generation, Tool-Nutzung, Agenten und ähnlichen Aufgaben, die komplexes Schlussfolgern erfordern. Das sind die Fähigkeiten, um die Sie planen sollten: lange Eingaben, strukturierte oder werkzeugorientierte Arbeit und mehrstufiges Schlussfolgern statt reines kreatives Schreiben.

Diese Kombination deutet auf eine ziemlich spezifische Reihe von Anwendungsfällen hin. RAG-Pipelines sind die offensichtliche Passung, da der 128k-Kontext es ermöglicht, abgerufene Dokumente zusammen mit der Frage zu bündeln, ohne aggressiv zu kürzen. Tool-Nutzung und Agentenschleifen folgen aus denselben Stärken, zum Beispiel ein Modell, das entscheidet, welche Funktion aufgerufen wird, das Ergebnis liest und fortfährt. Da strukturierte Ausgaben unterstützt werden, können Sie es auch für Extraktions- und Klassifizierungsaufgaben verwenden, bei denen die Antwort einem Schema entsprechen muss. Die Obergrenze von 4.000 Tokens für die Ausgabe ist erwähnenswert: Sie eignet sich für Antworten, Zusammenfassungen und Tool-Aufrufe, aber nicht für die Generierung langer Dokumente in einer einzigen Antwort.

Sie rufen es über die OpenAI-kompatible API von api14 mit der Modell-ID "cohere/command-r7b-12-2024" auf. Da die Schnittstelle der Form der OpenAI-Chat-Vervollständigungen folgt, funktionieren bestehende OpenAI-SDKs und Clients im Allgemeinen, wenn nur die Basis-URL und die Modell-ID geändert werden. Die unterstützten Anforderungsparameter sind frequency_penalty, max_tokens, presence_penalty, response_format, seed, stop, structured_outputs, temperature, top_k und top_p. Das Vorhandensein von seed ist nützlich, wenn Sie reproduzierbares Sampling wünschen, und response_format plus structured_outputs sind diejenigen, zu denen Sie greifen sollten, wenn nachgelagerter Code parsebare Ausgaben benötigt.

Zu den Grenzen: Die wichtigsten angegebenen Einschränkungen sind die maximale Ausgabe von 4.000 Tokens und der Wissensstichtag vom 31. August 2024. Wenn Ihre Aufgabe von sehr aktuellen Informationen abhängt, müssen Sie diese im Prompt oder durch Retrieval bereitstellen, statt sich auf das eigene Wissen des Modells zu verlassen. Wenn Sie Bild- oder Audioeingaben benötigen, akzeptiert dieses Modell sie nicht, da es nur Text verarbeitet. Innerhalb dieser Grenzen ist es eine vernünftige Standardwahl für RAG, Agenten und strukturierte Textaufgaben, bei denen Geschwindigkeit und ein langes Eingabefenster wichtiger sind als die Generierung langer Texte.