Cohere: Command R7B (12-2024)

Command R7B (12-2024) è un modello di testo di Cohere, rilasciato dal provider il 14 dicembre 2024. È descritto come un aggiornamento piccolo e veloce del modello Command R+, il che lo colloca nella famiglia di modelli linguistici Command di Cohere, pensati per carichi di lavoro pratici e orientati agli strumenti piuttosto che per la sola chat generica. Se già conosci la linea Command, questa è la variante compatta e più rapida da considerare quando vuoi la stessa copertura di attività senza un modello di grandi dimensioni.

Il modello riceve testo e restituisce testo, con una finestra di contesto di 128.000 token e un output massimo di 4.000 token. Il suo knowledge cutoff è il 31 agosto 2024, quindi tutto ciò che è successivo a quella data è al di fuori di ciò che ha appreso durante l'addestramento. Cohere lo posiziona come forte nella retrieval augmented generation, nell'uso di strumenti, negli agenti e in attività simili che richiedono ragionamento complesso. Queste sono le capacità su cui pianificare: input lunghi, lavoro strutturato o orientato agli strumenti e ragionamento multi-step piuttosto che pura scrittura creativa.

Questa combinazione indica un insieme piuttosto specifico di casi d'uso. Le pipeline RAG sono il fit ovvio, dato che il contesto da 128k permette di inserire documenti recuperati insieme alla domanda senza tagli aggressivi. L'uso di strumenti e i loop degli agenti derivano dagli stessi punti di forza, per esempio un modello che decide quale funzione chiamare, legge il risultato e continua. Poiché gli output strutturati sono supportati, puoi anche usarlo per attività di estrazione e classificazione in cui la risposta deve conformarsi a uno schema. Il tetto di output di 4.000 token vale la pena di essere notato: si adatta a risposte, riassunti e chiamate di strumenti, ma non alla generazione di documenti lunghi in una singola risposta.

Lo chiami tramite l'API compatibile con OpenAI di api14 usando il model id "cohere/command-r7b-12-2024". Poiché l'interfaccia segue la forma delle chat completions di OpenAI, gli SDK e i client OpenAI esistenti generalmente funzionano cambiando solo la base URL e il model id. I parametri di richiesta supportati sono frequency_penalty, max_tokens, presence_penalty, response_format, seed, stop, structured_outputs, temperature, top_k e top_p. La presenza di seed è utile quando vuoi un campionamento riproducibile, mentre response_format e structured_outputs sono quelli da usare quando il codice a valle necessita di output analizzabile.

Sui limiti, i vincoli principali indicati sono l'output massimo di 4.000 token e il knowledge cutoff del 31 agosto 2024. Se la tua attività dipende da informazioni molto recenti, dovrai fornirle nel prompt o tramite retrieval invece di affidarti alla conoscenza del modello stesso. Se hai bisogno di input di immagini o audio, questo modello non li accetta, poiché è solo testo. Entro questi limiti è un default ragionevole per RAG, agenti e attività di testo strutturato in cui la velocità e una lunga finestra di input contano più della generazione di testi lunghi.