Cohere: Command R+ (08-2024)

Command R+ (08-2024) är en textgenereringsmodell från Cohere, släppt av leverantören den 30 augusti 2024. Det är en uppdatering av den tidigare Command R+ modellen, och Cohere beskriver den som att den levererar ungefär 50 procent högre genomströmning och 25 procent lägre latenser än den tidigare versionen, samtidigt som den behåller samma hårdvarufotavtryck. Om du har använt Command R+ tidigare är detta den nyare checkpunkten av samma linje snarare än en annan modellfamilj.

Modellen arbetar med text in och text ut. Den accepterar upp till 128 000 tokens av kontext, vilket är tillräckligt för att rymma långa dokument, transkript eller fleromgångskonversationer i en enda begäran. Utdata är begränsad till 4 000 tokens per svar, så den är lämpad för svar, sammanfattningar och strukturerade nyttolaster snarare än mycket långa genererade dokument. Dess kunskapsavgränsning är 31 mars 2024, vilket innebär att allt efter det datumet måste komma från prompten, från verktyg eller från hämtning. De stödda parametrarna inkluderar temperature, top_p, top_k, frequency_penalty, presence_penalty, max_tokens, stop, seed och response_format, plus tools, tool_choice och structured_outputs för verktygsanrop och begränsad generering.

Den funktionsuppsättningen pekar mot några praktiska mönster. Retrieval augmented generation passar naturligt: den långa kontexten låter dig klistra in hämtade stycken tillsammans med frågan. Verktygsanrop och strukturerade utdata gör den användbar som resonemangssteget i en agent, där modellen avgör vilken funktion som ska anropas och returnerar argument i ett schema du definierar. Eftersom både tools och response_format stöds kan du bygga pipelines som blandar fritextsvar med maskinläsbar JSON. Fönstret på 128 000 tokens hjälper också till för att sammanfatta långa rapporter, extrahera fält från kontrakt eller svara på frågor över en kodbas eller dokumentationsuppsättning i en enda omgång.

Via api14 anropar du den med den OpenAI-kompatibla chat completions-slutpunkten och modell-id:t "cohere/command-r-plus-08-2024". Begäranden använder det välbekanta messages-formatet, så befintliga OpenAI SDK-klienter fungerar efter att du pekar bas-URL:en mot api14 och byter modellnamn. Begärans brödtext kan bära någon av de stödda parametrarna: temperature, top_p, top_k, frequency_penalty, presence_penalty, max_tokens, stop, seed, response_format, tools, tool_choice och structured_outputs. Observera att max_tokens styr det genererade svaret och inte får överstiga utdatataket på 4 000 tokens, även om kontextfönstret är mycket större.

Två begränsningar är värda att planera kring. Gränsen på 4 000 tokens för utdata innebär att långformsgenerering, till exempel hela kapitel eller stora kodfiler i ett enda svar, kan behöva delas upp eller en modell med högre utdatatak. Kunskapsavgränsningen i mars 2024 innebär också att tidskänsliga frågor beror på vad du tillhandahåller i prompten eller via verktyg. Om din arbetsbelastning mestadels är bilder eller ljud är den här modellen inte rätt val, eftersom den bara hanterar text. För enkla textuppgifter inom dessa gränser är den ett rimligt standardval.