Cohere: Command R+ (08-2024)

Command R+ (08-2024) è un modello di generazione di testo di Cohere, rilasciato dal provider il 30 agosto 2024. È un aggiornamento del precedente modello Command R+, e Cohere lo descrive come in grado di offrire circa il 50 percento di throughput in più e il 25 percento di latenza in meno rispetto alla versione precedente, mantenendo lo stesso footprint hardware. Se hai già usato Command R+, questo è il checkpoint più recente della stessa linea, non una famiglia di modelli diversa.

Il modello lavora con testo in input e testo in output. Accetta fino a 128.000 token di contesto, sufficienti per inserire documenti lunghi, trascrizioni o conversazioni multi turno in una singola richiesta. L'output è limitato a 4.000 token per risposta, quindi è adatto a risposte, riassunti e payload strutturati piuttosto che a documenti generati molto lunghi. Il suo knowledge cutoff è il 31 marzo 2024, il che significa che qualsiasi cosa successiva a quella data deve provenire dal prompt, dagli strumenti o dal retrieval. I parametri supportati includono temperature, top_p, top_k, frequency_penalty, presence_penalty, max_tokens, stop, seed e response_format, più tools, tool_choice e structured_outputs per il tool calling e la generazione vincolata.

Questo insieme di funzionalità indica alcuni schemi pratici. La retrieval augmented generation è una scelta naturale: il contesto lungo ti permette di incollare i passaggi recuperati accanto alla domanda. Il tool calling e gli structured outputs lo rendono utilizzabile come fase di ragionamento in un agente, dove il modello decide quale funzione chiamare e restituisce argomenti in uno schema che definisci tu. Poiché sono supportati sia tools sia response_format, puoi costruire pipeline che combinano risposte in testo libero con JSON leggibile dalla macchina. La finestra di 128.000 token è utile anche per riassumere report lunghi, estrarre campi da contratti o rispondere a domande su un codebase o un insieme di documentazione in un'unica passata.

Tramite api14 lo chiami con l'endpoint chat completions compatibile con OpenAI e il model id "cohere/command-r-plus-08-2024". Le richieste usano il formato messages familiare, quindi i client OpenAI SDK esistenti funzionano dopo aver puntato la base URL su api14 e aver sostituito il nome del modello. Il corpo della richiesta può contenere uno qualsiasi dei parametri supportati: temperature, top_p, top_k, frequency_penalty, presence_penalty, max_tokens, stop, seed, response_format, tools, tool_choice e structured_outputs. Nota che max_tokens governa la risposta generata e non può superare il limite di output di 4.000 token, anche se la finestra di contesto è molto più ampia.

Vale la pena pianificare tenendo conto di due vincoli. Il limite di output di 4.000 token significa che la generazione di testi lunghi, come interi capitoli o grandi file di codice in una sola risposta, può richiedere il chunking o un modello con un tetto di output più alto. Il knowledge cutoff di marzo 2024 significa anche che le domande sensibili al tempo dipendono da ciò che fornisci nel prompt o tramite gli strumenti. Se il tuo carico di lavoro è prevalentemente immagini o audio, questo modello non è adatto, dato che gestisce solo testo. Per attività testuali semplici entro questi limiti, è un default ragionevole.