Mistral Large 2407

Mistral Large 2407 is een tekstgeneratiemodel van Mistral, geïdentificeerd op api14 als mistralai/mistral-large-2407. Het is Mistrals vlaggenschipmodel, Mistral Large 2, in zijn 2407-versie, en Mistral beschrijft het als een proprietary weights-available model. Het werd door de provider uitgebracht op 2024-11-19 en heeft een knowledge cutoff van 2024-03-31.

Het model accepteert tekst- en bestandsinvoer en retourneert tekst. Het heeft een contextvenster van 131072 tokens en een maximale uitvoer van 104857 tokens, dus lange invoer en lange generaties zijn beide mogelijk binnen hetzelfde verzoek. Mistral positioneert het als sterk in redeneren, code, JSON en chat. De ondersteunde verzoekparameters omvatten temperature, top_p, frequency_penalty, presence_penalty, max_tokens, stop, seed, response_format, structured_outputs, tools en tool_choice.

Omdat het goed omgaat met redeneren, code en JSON, is het geschikt voor taken zoals meerstapsanalyse, codegeneratie en -review, en chatassistenten die een lang gesprek of een groot document in context moeten houden. De modaliteit voor bestandsinvoer maakt het bruikbaar voor workflows waarin een document samen met een vraag wordt aangeleverd, en de parameters voor gestructureerde uitvoer en tool calling maken het een redelijke keuze voor pipelines die machineleesbare antwoorden nodig hebben of die het model verbinden met externe functies. Het hoge uitvoerplafond helpt wanneer het antwoord zelf lang is, bijvoorbeeld een volledig bestand, een gedetailleerd rapport of een uitgebreide uitleg.

Je roept het aan via api14's OpenAI-compatible API met het model-id "mistralai/mistral-large-2407". Verzoeken volgen de vorm van OpenAI chat completions, dus je stuurt messages en stelt parameters in via de gebruikelijke velden. Het model ondersteunt frequency_penalty, max_tokens, presence_penalty, response_format, seed, stop, structured_outputs, temperature, tool_choice, tools en top_p. Gebruik response_format of structured_outputs wanneer je JSON nodig hebt, en tools met tool_choice wanneer je wilt dat het model functies aanroept die je definieert. De seed-parameter laat je sampling reproduceerbaarder maken, en stop laat je de generatie afkappen bij een gekozen sequentie.

Houd de knowledge cutoff van 2024-03-31 in gedachten: het model weet niets van gebeurtenissen of bibliotheekwijzigingen na die datum, dus voor recente informatie moet je die in de prompt of via een bestand aanleveren. Als je taak niet tekstgebaseerd is, past dit model niet, omdat het alleen tekst- en bestandsinvoer accepteert en alleen tekst produceert. Binnen die grenzen is het een algemene keuze voor redeneren, code en JSON-werk, en de parameterlijst geeft je voldoende controle over sampling, uitvoervorm en toolgebruik om het met weinig wijzigingen in bestaande OpenAI-compatible code te integreren.