Cohere: Command R (08-2024)

Command R (08-2024) är en textgenereringsmodell från Cohere, identifierad på api14 som cohere/command-r-08-2024. Det är en uppdatering av den tidigare Command R-modellen, släppt av leverantören den 30 augusti 2024, och den behåller samma övergripande roll i Coheres sortiment samtidigt som den förbättrar originalet. Uppdateringen fokuserar på bättre prestanda för flerspråkig retrieval-augmented generation (RAG) och verktygsanvändning, och den är också starkare på matematik, kod och resonemang än versionen den ersätter.

Modellen arbetar endast med text in och text ut. Den tar emot textprompter och returnerar textkompletteringar, utan bild- eller ljudinmatning. Kontextfönstret är 128 000 token, vilket är tillräckligt stort för att rymma långa dokument, flerturskonversationer eller flera hämtade stycken tillsammans med instruktionerna. Maximal utdata är 4 000 token per svar, och kunskapsavskärningen är 31 mars 2024, så allt efter det datumet måste komma från prompten eller från ett verktygsanrop snarare än från modellens egen träningsdata.

Dessa funktioner pekar mot några praktiska användningsområden. Eftersom flerspråkig RAG är en uttalad styrka passar modellen för frågebesvarande över en dokumentsamling där frågor och källor kan vara på olika språk, med hämtade textavsnitt placerade i det långa kontextfönstret. Verktygsanvändning och strukturerade utdata gör den lämplig för agenter och arbetsflöden som behöver anropa funktioner, extrahera fält till ett schema eller dirigera en begäran till ett annat system. Förbättringarna inom matematik, kod och resonemang gör den också användbar för analysuppgifter, kodförklaring och stegvis problemlösning, även om gränsen på 4 000 token i utdata innebär att långa genererade filer eller mycket detaljerade rapporter behöver delas upp över flera anrop.

Du anropar den via api14:s OpenAI-kompatibla API med modell-id:t cohere/command-r-08-2024, så befintlig OpenAI SDK-kod fungerar med ett byte av bas-URL och modellnamn. De begäranparametrar den stöder är frequency_penalty, max_tokens, presence_penalty, response_format, seed, stop, structured_outputs, temperature, tool_choice, tools, top_k och top_p. I praktiken täcker det samplingskontroll (temperature, top_p, top_k), repetitionskontroll (frequency- och presence-straff), utdatalängd (max_tokens), stoppsekvenser, närmast deterministisk sampling via seed, samt både response_format i JSON-stil och structured_outputs för schemabegränsade resultat. Verktygsanvändning konfigureras med tools och tool_choice.

Några begränsningar är värda att känna till innan du bestämmer dig. In- och utdata är endast text, så om du behöver vision eller ljud är den här modellen inte rätt val. Taket på 4 000 token i utdata utesluter den för uppgifter som måste producera mycket långa enskilda svar. Kunskapsavskärningen den 31 mars 2024 innebär att aktuell information måste tillhandahållas i prompten eller hämtas via verktyg. Och eftersom modellen är positionerad kring RAG, verktygsanvändning och resonemang snarare än som en allmän flaggskeppsmodell, kan en annan modell passa bättre när din prioritet ligger utanför dessa områden.