Cohere: Command R7B (12-2024)

Command R7B (12-2024) is een tekstmodel van Cohere, op 14 december 2024 uitgebracht door de provider. Het wordt beschreven als een kleine, snelle update van het Command R+ model, wat het plaatst in Cohere's Command-familie van taalmodellen die gericht zijn op praktische, tool-gedreven workloads in plaats van alleen algemene chat. Als je de Command-lijn al kent, is dit de compacte, snellere variant om te overwegen wanneer je dezelfde stijl van taakdekking wilt zonder een groot model.

Het model neemt tekst in en geeft tekst terug, met een contextvenster van 128.000 tokens en een maximale uitvoer van 4.000 tokens. De kennisafsluitdatum is 31 augustus 2024, dus alles na die datum valt buiten wat het tijdens training heeft geleerd. Cohere positioneert het als sterk in retrieval augmented generation, toolgebruik, agents en vergelijkbare taken die complexe redenering vereisen. Dat zijn de capaciteiten om omheen te plannen: lange inputs, gestructureerd of toolgericht werk, en meerstapsredenering in plaats van puur creatief schrijven.

Die combinatie wijst op een redelijk specifieke set use cases. RAG-pipelines zijn de voor de hand liggende match, omdat de 128k context je in staat stelt opgehaalde documenten samen met de vraag erin te proppen zonder agressief te trimmen. Toolgebruik en agent-loops volgen uit dezelfde sterke punten, bijvoorbeeld een model dat beslist welke functie moet worden aangeroepen, het resultaat leest en doorgaat. Omdat gestructureerde outputs worden ondersteund, kun je het ook gebruiken voor extractie- en classificatietaken waarbij het antwoord aan een schema moet voldoen. Het uitvoerplafond van 4.000 tokens is het vermelden waard: het past bij antwoorden, samenvattingen en tool calls, maar niet bij het genereren van lange documenten in één reactie.

Je roept het aan via api14's OpenAI-compatible API met het model-id "cohere/command-r7b-12-2024". Omdat de interface de vorm van OpenAI chat completions volgt, werken bestaande OpenAI SDKs en clients over het algemeen met alleen de base URL en het model-id gewijzigd. De request-parameters die het ondersteunt zijn frequency_penalty, max_tokens, presence_penalty, response_format, seed, stop, structured_outputs, temperature, top_k en top_p. De aanwezigheid van seed is nuttig wanneer je reproduceerbare sampling wilt, en response_format plus structured_outputs zijn degene waar je naar grijpt wanneer downstream-code parseerbare output nodig heeft.

Qua limieten zijn de belangrijkste beperkingen de maximale uitvoer van 4.000 tokens en de kennisafsluitdatum van 31 augustus 2024. Als je taak afhangt van zeer recente informatie, moet je die in de prompt of via retrieval aanleveren in plaats van te vertrouwen op de eigen kennis van het model. Als je beeld- of audio-input nodig hebt, accepteert dit model die niet, want het is alleen tekst. Binnen die grenzen is het een redelijke standaard voor RAG, agents en gestructureerde teksttaken waarbij snelheid en een lang inputvenster belangrijker zijn dan langvormige generatie.