Mistral: Mistral Small 3

Mistral Small 3 är en textgenereringsmodell från Mistral, släppt av leverantören den 30 januari 2025. Det är en språkmodell med 24B parametrar optimerad för låg latens prestanda över vanliga AI-uppgifter, och den släpps under Apache 2.0-licensen. Både förtränade och instruktionstränade versioner finns, och den instruktionstränade varianten är den som serveras här under modell-id mistralai/mistral-small-24b-instruct-2501.

Modellen arbetar med textinmatning och producerar textutdata, så den passar standardarbetsbelastningar av chatt- och kompletteringstyp. Den har ett kontextfönster på 32768 tokens, vilket täcker prompten och det genererade svaret tillsammans, och den kan producera upp till 16384 tokens i en enskild utdata. Dess kunskapsavgränsning är 31 oktober 2023, så allt som hände efter det datumet ligger utanför vad modellen lärde sig under träningen. Kombinationen av ett måttligt antal parametrar och en 32k-kontext gör den till en allmän instruktionsmodell snarare än en specialist på någon enskild smal uppgift.

Eftersom den är instruktionstränad och optimerad för låg latens passar modellen vardagliga uppgifter där svarstid spelar roll: chattassistenter, sammanfattning, omskrivning, klassificering, extrahering och frågebesvarande över material som ryms inom kontextfönstret. Taket på 16384 tokens i utdata tillåter längre genereringar som utkast med flera stycken eller strukturerade dokument, medan kontexten på 32768 tokens stöder prompter som innehåller en hel del referenstext, till exempel några dokument eller en lång konversationshistorik. Utvecklare som behöver en pålitlig textmodell för högvolymsendpoints känsliga för latens är den avsedda målgruppen.

Du anropar den via api14:s OpenAI-kompatibla API med modell-id mistralai/mistral-small-24b-instruct-2501, vilket innebär att befintliga OpenAI-klientbibliotek och förfrågningsformat fungerar med bara modellnamnet ändrat. Modellen stöder frequency_penalty, logit_bias, max_tokens, min_p, presence_penalty, repetition_penalty, response_format, seed, stop, structured_outputs, temperature, top_k och top_p. Strukturerade utdata och response_format är tillgängliga för fall där du behöver svaret i en definierad form, och seed kan hjälpa till att göra sampling mer reproducerbar. Samplingbeteendet styrs genom temperature, top_p, top_k och min_p, medan repetition_penalty, frequency_penalty och presence_penalty formar hur mycket modellen upprepar sig.

Två praktiska begränsningar är värda att notera innan du binder dig. Kunskapsavgränsningen 31 oktober 2023 innebär att modellen inte har någon inbyggd medvetenhet om senare händelser, så applikationer som är beroende av aktuell information behöver tillhandahålla den i prompten. Indata och utdata är endast text, så om din arbetsbelastning involverar bilder eller ljud är denna modell inte rätt val. Och med ett kontextfönster på 32768 tokens kommer mycket stora indata att behöva delas upp eller hämtas snarare än att skickas in i sin helhet.