Cohere: Command R+ (08-2024)

Command R+ (08-2024) is een tekstgeneratiemodel van Cohere, dat door de provider is uitgebracht op 30 augustus 2024. Het is een update van het eerdere Command R+ model, en Cohere beschrijft het als een model dat ongeveer 50 procent hogere doorvoer en 25 procent lagere latenties levert dan de vorige versie, met behoud van dezelfde hardwarevoetafdruk. Als je Command R+ eerder hebt gebruikt, is dit het nieuwere checkpoint van diezelfde lijn en niet een andere modelfamilie.

Het model werkt met tekst in en tekst uit. Het accepteert tot 128.000 tokens aan context, wat genoeg is om lange documenten, transcripties of gesprekken met meerdere beurten in één verzoek te passen. De uitvoer is beperkt tot 4.000 tokens per antwoord, dus het is geschikt voor antwoorden, samenvattingen en gestructureerde payloads in plaats van zeer lange gegenereerde documenten. De kennisafsluitdatum is 31 maart 2024, wat betekent dat alles na die datum uit de prompt, uit tools of uit retrieval moet komen. De ondersteunde parameters zijn onder andere temperature, top_p, top_k, frequency_penalty, presence_penalty, max_tokens, stop, seed en response_format, plus tools, tool_choice en structured_outputs voor tool calling en constrained generation.

Die functieset wijst op een paar praktische patronen. Retrieval augmented generation is een natuurlijke match: de lange context laat je opgehaalde passages naast de vraag plakken. Tool calling en structured outputs maken het bruikbaar als de redeneerstap in een agent, waarbij het model beslist welke functie moet worden aangeroepen en argumenten retourneert in een schema dat jij definieert. Omdat zowel tools als response_format worden ondersteund, kun je pipelines bouwen die vrije tekstantwoorden combineren met machineleesbare JSON. Het venster van 128.000 tokens helpt ook bij het samenvatten van lange rapporten, het extraheren van velden uit contracten, of het beantwoorden van vragen over een codebase of documentatieset in één keer.

Via api14 roep je het aan met het OpenAI compatibele chat completions endpoint en het model id "cohere/command-r-plus-08-2024". Verzoeken gebruiken het bekende messages formaat, dus bestaande OpenAI SDK clients werken nadat je de base URL naar api14 hebt gericht en de modelnaam hebt vervangen. De request body kan een van de ondersteunde parameters bevatten: temperature, top_p, top_k, frequency_penalty, presence_penalty, max_tokens, stop, seed, response_format, tools, tool_choice en structured_outputs. Let op dat max_tokens het gegenereerde antwoord bepaalt en niet hoger kan zijn dan de uitvoerlimiet van 4.000 tokens, ook al is het contextvenster veel groter.

Twee beperkingen zijn het waard om omheen te plannen. De uitvoerlimiet van 4.000 tokens betekent dat het genereren van lange vormen, zoals hele hoofdstukken of grote codebestanden in één antwoord, mogelijk opsplitsing vereist of een model met een hoger uitvoerplafond. De kennisafsluitdatum van maart 2024 betekent ook dat tijdsgevoelige vragen afhangen van wat je in de prompt of via tools aanlevert. Als je workload vooral afbeeldingen of audio betreft, is dit model niet geschikt, omdat het alleen tekst verwerkt. Voor eenvoudige teksttaken binnen die grenzen is het een redelijke standaardkeuze.