Mistral Large

Mistral Large is een tekstgeneratiemodel van Mistral, door de provider gepositioneerd als hun vlaggenschipmodel. De versie die hier wordt aangeboden is Mistral Large 2 (mistral-large-2407), een model met propriëtaire gewichten dat Mistral beschrijft als sterk in redeneren, code, JSON en chat. Het werd door de provider uitgebracht op 26 februari 2024, en de kennisafsluitdatum is 30 november 2024, dus alles wat na die datum is gebeurd valt buiten wat het model tijdens training heeft geleerd.

Het model accepteert tekst en bestanden als invoer en retourneert tekst. Het heeft een contextvenster van 128.000 tokens, wat genoeg is om lange documenten, grote codebestanden of uitgebreide gesprekken in één verzoek te bevatten, en het kan tot 102.400 tokens in één antwoord produceren. Omdat bestanden een geaccepteerde invoermodaliteit zijn, kun je documentinhoud naast je instructies doorgeven in plaats van alles zelf in de prompt te plakken. Uitvoer is alleen tekst, dus als je afbeeldingen of audio nodig hebt, heb je een ander model nodig.

Die mogelijkheden wijzen op een vrij breed scala aan praktische toepassingen. De lange context en sterke redeneer capaciteit passen bij documentanalyse, samenvatting en vraagbeantwoording over lang bronmateriaal, waaronder contracten, rapporten en onderzoekspapers die als bestanden worden aangeleverd. De provider benadrukt code en JSON, dus code-uitleg, generatie en refactoring taken passen redelijk, net als het produceren van gestructureerde JSON-payloads voor downstream systemen. Chat en assistent-achtige toepassingen werken ook goed, vooral wanneer het gesprek veel eerdere context moet meedragen zonder afkapping.

Je roept het model aan via de OpenAI-compatibele API van api14 met het model-id "mistralai/mistral-large". Omdat het endpoint het OpenAI-schema volgt, werken bestaande OpenAI-clientbibliotheken en request-vormen met alleen de base URL en het model-id gewijzigd. De ondersteunde request-parameters zijn frequency_penalty, max_tokens, presence_penalty, response_format, seed, stop, structured_outputs, temperature, tool_choice, tools en top_p. Tool calling is beschikbaar via tools en tool_choice, en structured_outputs plus response_format laten je de vorm van de geretourneerde tekst beperken wanneer je betrouwbare JSON nodig hebt. De seed-parameter helpt wanneer je herhaalbare sampling wilt, en stop, temperature en top_p geven je controle over waar en hoe het model genereert.

Houd de kennisafsluitdatum in gedachten: voor vragen over gebeurtenissen na 30 november 2024 heeft het model geen ingebouwde kennis en moet die informatie in de prompt of via tools worden aangeleverd. De context van 128.000 tokens en het uitvoerplafond van 102.400 tokens zijn ruim maar eindig, dus zeer grote corpora hebben nog steeds chunking of retrieval nodig. Als je taak niet tekstgebaseerd is, of als je specifiek een model met een recentere afsluitdatum nodig hebt, is een ander model op api14 misschien de betere keuze.