Mistral: Mistral Nemo

Mistral Nemo is een tekstmodel van Mistral, gebouwd in samenwerking met NVIDIA. Het is een model met 12B parameters, en de releasedatum bij de provider was 19 juli 2024. Het model is meertalig en ondersteunt Engels, Frans, Duits, Spaans, Italiaans, Portugees, Chinees, Japans en andere talen. Als je een model voor een project kiest, zit deze in het kleinere, efficiënte segment van Mistrals aanbod in plaats van bij de grootste vlaggenschipmodellen.

Het model neemt tekst als invoer en geeft tekst als uitvoer terug, dus het is een rechttoe rechtaan taalmodel zonder beeld- of audioverwerking. Het contextvenster is 131072 tokens, wat groot genoeg is om lange documenten, uitgebreide gesprekken of omvangrijke codebestanden in één verzoek te bevatten. De maximale uitvoer is 16384 tokens, dus antwoorden kunnen lang zijn, maar zijn ruim onder de invoerlimiet begrensd. De kennisafsluitdatum is 30 april 2024, wat van belang is als je taak afhangt van gebeurtenissen of informatie na die datum.

Die mogelijkheden wijzen op een paar praktische toepassingen. De lange context is geschikt voor het samenvatten of extraheren van informatie uit lange rapporten, contracten en transcripten, en de meertalige ondersteuning helpt bij vertaling en bij toepassingen die gebruikers in meerdere talen bedienen. Omdat het model alleen tekst accepteert en teruggeeft, past het bij chatassistenten, vraagbeantwoording over aangeleverde documenten, opstellen en herschrijven, classificatie en andere teksttransformatietaken. Het uitvoerplafond van 16384 tokens betekent dat zeer lange gegenereerde documenten mogelijk in meerdere rondes moeten worden geproduceerd.

Je kunt het model aanroepen via de OpenAI-compatibele API van api14 met het model-id "mistralai/mistral-nemo". De ondersteunde verzoekparameters zijn frequency_penalty, logit_bias, logprobs, max_tokens, min_p, presence_penalty, repetition_penalty, response_format, seed, stop, structured_outputs, temperature, tool_choice, tools, top_k, top_logprobs en top_p. Die set dekt sampling-besturing, deterministische seeding, stopsequenties, gestructureerde uitvoer en tool calling, zodat je zowel de stijl van de uitvoer als het formaat kunt sturen zonder de standaardinterface te verlaten.

Een paar limieten zijn het onthouden waard. Invoer en uitvoer zijn alleen tekst, dus taken waarbij afbeeldingen of audio moeten worden geanalyseerd, vereisen een ander model. De kennisafsluitdatum van 30 april 2024 betekent dat het model geen ingebouwde kennis heeft van latere gebeurtenissen, en de uitvoerlimiet van 16384 tokens beperkt de lengte van één antwoord. Als je workload van een van deze punten afhangt, past een ander model mogelijk beter.