Mistral: Mixtral 8x22B Instruct

Mistral: Mixtral 8x22B Instruct är en textmodell från Mistral, släppt av leverantören den 17 april 2024. Det är den officiella instruct-fintrimmade versionen av Mixtral 8x22B, en sparse mixture-of-experts-design som använder 39B aktiva parametrar av 141B. Instruct-trimningen anpassar basmodellen för att följa instruktioner och svara på förfrågningar direkt, vilket är vad de flesta applikationsutvecklare vill när de anropar en modell via ett API.

Modellen tar text- och filindata och returnerar text. Dess kontextfönster är 65 536 tokens, och maximal utdata är 52 428 tokens, så både långa indata och långa genereringar är möjliga inom samma förfrågan. Kunskapsavgränsningen är 31 januari 2024, vilket innebär att allt efter det datumet ligger utanför vad modellen tränades på. Mistral framhåller stark matematik och kodning som särskilda styrkor hos denna modell, tillsammans med kostnadseffektivitet för sin storlek.

Dessa förmågor pekar mot en ganska bred uppsättning praktiska användningsområden. Den långa kontexten passar för att arbeta med stora dokument, oavsett om det innebär att sammanfatta en lång rapport, extrahera strukturerade detaljer från en fil eller svara på frågor mot en textmängd som tillhandahålls i prompten. Styrkorna inom matematik och kodning gör den lämplig för kodassistans, till exempel att förklara eller generera kod, och för kvantitativa uppgifter som kräver stegvis resonemang. Eftersom den accepterar filer som indata kan den användas i pipelines där dokument skickas in direkt istället för att klistras in som ren text. Tool calling och strukturerade utdata gör den också lämplig för agentliknande arbetsflöden och för att producera svar som nedströmskod kan tolka.

Du anropar den via api14:s OpenAI-kompatibla API med modell-id:t "mistralai/mixtral-8x22b-instruct". De stödda förfrågningsparametrarna är frequency_penalty, max_tokens, presence_penalty, response_format, seed, stop, structured_outputs, temperature, tool_choice, tools och top_p. I praktiken täcker det de vanliga samplingskontrollerna (temperature, top_p, penalties, seed, stop), utdatalängd via max_tokens, svarsformning via response_format och structured_outputs, samt funktionsanrop via tools och tool_choice. Om du redan har kod skriven mot OpenAI chat completions-formen är bytet till denna modell mest en fråga om att ändra modell-id:t.

En sak att ha i åtanke är kunskapsavgränsningen den 31 januari 2024, så frågor om senare händelser kommer inte att besvaras från träningsdata och kan behöva hämtning eller kontext som tillhandahålls i prompten. Modellen är endast text på utdatasidan, så uppgifter som kräver generering av bilder eller ljud ligger utanför omfånget. Om din arbetsbelastning är beroende av mycket färsk information eller av modaliteter bortom text- och filindata kan en annan modell passa bättre.