Mistral: Mistral Small 3

Mistral Small 3 is een tekstgeneratiemodel van Mistral, door de provider uitgebracht op 30 januari 2025. Het is een taal模型的 met 24B parameters, geoptimaliseerd voor lage latentie bij gangbare AI-taken, en het is uitgebracht onder de Apache 2.0-licentie. Er bestaan zowel vooraf getrainde als instructie-afgestemde versies, en de instructie-afgestemde variant is degene die hier wordt aangeboden onder het model-id mistralai/mistral-small-24b-instruct-2501.

Het model werkt met tekstinvoer en produceert tekstuitvoer, dus het past bij standaard chat- en completion-workloads. Het heeft een contextvenster van 32768 tokens, dat de prompt en het gegenereerde antwoord samen omvat, en het kan tot 16384 tokens in één uitvoer produceren. De kennisafsluiting is 31 oktober 2023, dus alles wat na die datum is gebeurd valt buiten wat het model tijdens training heeft geleerd. De combinatie van een matig aantal parameters en een context van 32k maakt het een algemeen instructiemodel in plaats van een specialist in één enkele nauwe taak.

Omdat het instructie-afgestemd is en geoptimaliseerd voor lage latentie, past het model bij alledaagse taken waar reactiesnelheid belangrijk is: chatassistenten, samenvatten, herschrijven, classificatie, extractie en vraagbeantwoording over materiaal dat binnen het contextvenster past. Het uitvoerplafond van 16384 tokens maakt langere generaties mogelijk, zoals concepten van meerdere alinea's of gestructureerde documenten, terwijl de context van 32768 tokens prompts ondersteunt met een behoorlijke hoeveelheid referentietekst, bijvoorbeeld een paar documenten of een lange gespreksgeschiedenis. Ontwikkelaars die een betrouwbaar tekstmodel nodig hebben voor endpoints met veel volume en gevoeligheid voor latentie vormen het beoogde publiek.

Je roept het aan via de OpenAI-compatibele API van api14 met het model-id mistralai/mistral-small-24b-instruct-2501, wat betekent dat bestaande OpenAI-clientbibliotheken en request-vormen werken met alleen een gewijzigde modelnaam. Het model ondersteunt frequency_penalty, logit_bias, max_tokens, min_p, presence_penalty, repetition_penalty, response_format, seed, stop, structured_outputs, temperature, top_k en top_p. Structured outputs en response_format zijn beschikbaar voor gevallen waarin je het antwoord in een bepaalde vorm nodig hebt, en seed kan helpen om sampling reproduceerbaarder te maken. Het samplinggedrag wordt geregeld via temperature, top_p, top_k en min_p, terwijl repetition_penalty, frequency_penalty en presence_penalty bepalen hoeveel het model zichzelf herhaalt.

Twee praktische beperkingen zijn het vermelden waard voordat je je vastlegt. De kennisafsluiting van 31 oktober 2023 betekent dat het model geen ingebouwd bewustzijn heeft van latere gebeurtenissen, dus toepassingen die afhankelijk zijn van recente informatie moeten die in de prompt aanleveren. Invoer en uitvoer zijn alleen tekst, dus als je workload afbeeldingen of audio omvat, is dit model niet de juiste keuze. En met een contextvenster van 32768 tokens moeten zeer grote invoeren worden opgesplitst of opgehaald in plaats van in hun geheel doorgegeven.