Cohere: Command R (08-2024)

Command R (08-2024) is een tekstgeneratiemodel van Cohere, geïdentificeerd op api14 als cohere/command-r-08-2024. Het is een update van het eerdere Command R-model, dat door de provider op 30 augustus 2024 is uitgebracht, en het behoudt dezelfde algehele rol in Cohere's line-up terwijl het verbetert ten opzichte van het origineel. De update richt zich op betere prestaties voor meertalige retrieval-augmented generation (RAG) en toolgebruik, en het is ook sterker in wiskunde, code en redeneren dan de versie die het vervangt.

Het model werkt alleen met tekst in en tekst uit. Het accepteert tekstprompts en retourneert tekstcompleties, zonder beeld- of audio-invoer. Het contextvenster is 128.000 tokens, wat groot genoeg is om lange documenten, gesprekken met meerdere beurten of verschillende opgehaalde passages samen met de instructies te bevatten. De maximale uitvoer is 4.000 tokens per antwoord, en de knowledge cutoff is 31 maart 2024, dus alles na die datum moet uit de prompt of uit een toolaanroep komen in plaats van uit de eigen trainingsdata van het model.

Die mogelijkheden wijzen op een paar praktische toepassingen. Omdat meertalige RAG een genoemde sterkte is, past het model bij vraagbeantwoording over een documentverzameling waarbij queries en bronnen in verschillende talen kunnen zijn, met opgehaalde chunks in het lange contextvenster. Toolgebruik en gestructureerde uitvoer maken het redelijk geschikt voor agents en workflows die functies moeten aanroepen, velden in een schema moeten extraheren of een verzoek naar een ander systeem moeten routeren. De verbeteringen in wiskunde, code en redeneren maken het ook bruikbaar voor analysetaken, code-uitleg en stapsgewijze probleemoplossing, hoewel de uitvoerlimiet van 4.000 tokens betekent dat lang gegenereerde bestanden of zeer gedetailleerde rapporten over meerdere aanroepen moeten worden gesplitst.

Je roept het aan via api14's OpenAI-compatibele API met het model-id cohere/command-r-08-2024, dus bestaande OpenAI SDK-code werkt met een wijziging van base URL en modelnaam. De verzoekparameters die het ondersteunt zijn frequency_penalty, max_tokens, presence_penalty, response_format, seed, stop, structured_outputs, temperature, tool_choice, tools, top_k en top_p. In de praktijk dekt dat samplingcontrole (temperature, top_p, top_k), herhalingscontrole (frequency- en presence-penalties), uitvoerlengte (max_tokens), stopsequenties, deterministisch-achtige sampling via seed, en zowel JSON-achtige response_format als structured_outputs voor schema-beperkte resultaten. Toolgebruik wordt geconfigureerd met tools en tool_choice.

Een paar limieten zijn het kennen waard voordat je je vastlegt. Invoer en uitvoer zijn alleen tekst, dus als je vision of audio nodig hebt, is dit model niet de juiste keuze. Het uitvoerplafond van 4.000 tokens sluit het uit voor taken die zeer lange enkele antwoorden moeten produceren. De knowledge cutoff van 31 maart 2024 betekent dat recente informatie in de prompt moet worden aangeleverd of via tools moet worden opgehaald. En aangezien het model is gepositioneerd rond RAG, toolgebruik en redeneren in plaats van als een algemeen flagship, kan een ander model beter passen wanneer je prioriteit iets buiten die gebieden ligt.