Cohere: Command R (08-2024)

Command R (08-2024) è un modello di generazione di testo di Cohere, identificato su api14 come cohere/command-r-08-2024. È un aggiornamento del precedente modello Command R, rilasciato dal provider il 30 agosto 2024, e mantiene lo stesso ruolo complessivo nella lineup di Cohere migliorando al contempo l'originale. L'aggiornamento si concentra su prestazioni migliori per la generazione aumentata dal recupero (RAG) multilingue e l'uso di strumenti, ed è anche più forte in matematica, codice e ragionamento rispetto alla versione che sostituisce.

Il modello funziona solo con testo in input e testo in output. Accetta prompt testuali e restituisce completamenti testuali, senza input di immagini o audio. La finestra di contesto è di 128.000 token, abbastanza ampia da contenere documenti lunghi, conversazioni multi-turno o diversi passaggi recuperati insieme alle istruzioni. L'output massimo è di 4.000 token per risposta, e il knowledge cutoff è il 31 marzo 2024, quindi qualsiasi cosa successiva a tale data deve provenire dal prompt o da una chiamata a uno strumento piuttosto che dai dati di addestramento del modello.

Queste capacità indicano alcuni usi pratici. Poiché il RAG multilingue è un punto di forza dichiarato, il modello si adatta alla risposta a domande su una raccolta di documenti in cui query e fonti possono essere in lingue diverse, con i chunk recuperati inseriti nella lunga finestra di contesto. L'uso di strumenti e gli output strutturati lo rendono una scelta ragionevole per agenti e workflow che devono chiamare funzioni, estrarre campi in uno schema o instradare una richiesta verso un altro sistema. I miglioramenti in matematica, codice e ragionamento lo rendono inoltre utilizzabile per attività di analisi, spiegazione di codice e risoluzione di problemi passo dopo passo, anche se il limite di output di 4.000 token significa che file generati lunghi o report molto dettagliati devono essere suddivisi tra più chiamate.

Lo si chiama tramite l'API compatibile con OpenAI di api14 usando il model id cohere/command-r-08-2024, quindi il codice esistente dell'SDK OpenAI funziona con un cambio di base URL e nome del modello. I parametri di richiesta supportati sono frequency_penalty, max_tokens, presence_penalty, response_format, seed, stop, structured_outputs, temperature, tool_choice, tools, top_k e top_p. In pratica questo copre il controllo del campionamento (temperature, top_p, top_k), il controllo delle ripetizioni (penalità frequency e presence), la lunghezza dell'output (max_tokens), le sequenze di stop, un campionamento quasi deterministico tramite seed, e sia response_format in stile JSON sia structured_outputs per risultati vincolati da schema. L'uso di strumenti è configurato con tools e tool_choice.

Vale la pena conoscere alcuni limiti prima di impegnarsi. Input e output sono solo testo, quindi se serve visione o audio, questo modello non è la scelta giusta. Il tetto di output di 4.000 token lo esclude per attività che devono produrre risposte singole molto lunghe. Il knowledge cutoff del 31 marzo 2024 significa che le informazioni recenti devono essere fornite nel prompt o recuperate tramite strumenti. E poiché il modello è posizionato attorno a RAG, uso di strumenti e ragionamento piuttosto che come flagship generale, un modello diverso potrebbe adattarsi meglio quando la priorità è qualcosa al di fuori di queste aree.