Mistral Large 2407

Mistral Large 2407 är en textgenereringsmodell från Mistral, identifierad på api14 som mistralai/mistral-large-2407. Det är Mistrals flaggskeppsmodell, Mistral Large 2, i sin 2407-version, och Mistral beskriver den som en proprietär modell med tillgängliga vikter. Den släpptes av leverantören 2024-11-19 och har en kunskapsgräns på 2024-03-31.

Modellen tar emot text och filer som indata och returnerar text. Den har ett kontextfönster på 131072 tokens och en maximal utdata på 104857 tokens, så både långa indata och långa genereringar är möjliga inom samma begäran. Mistral positionerar den som stark på resonemang, kod, JSON och chatt. De stödda begärandeparametrarna inkluderar temperature, top_p, frequency_penalty, presence_penalty, max_tokens, stop, seed, response_format, structured_outputs, tools och tool_choice.

Eftersom den hanterar resonemang, kod och JSON väl lämpar den sig för uppgifter som flerstegsanalys, kodgenerering och granskning, samt chattassistenter som behöver hålla en lång konversation eller ett stort dokument i kontexten. Filindatamodaliteten gör den användbar för arbetsflöden där ett dokument tillhandahålls tillsammans med en fråga, och parametrarna för strukturerad utdata och verktygsanrop gör den till ett rimligt val för pipelines som behöver maskinläsbara svar eller som kopplar modellen till externa funktioner. Det höga utdatataket hjälper när själva svaret är långt, till exempel en hel fil, en detaljerad rapport eller en utförlig förklaring.

Du anropar den via api14:s OpenAI-kompatibla API med modell-id:t "mistralai/mistral-large-2407". Begäranden följer OpenAI:s chat completions-form, så du skickar meddelanden och ställer in parametrar i de vanliga fälten. Modellen stöder frequency_penalty, max_tokens, presence_penalty, response_format, seed, stop, structured_outputs, temperature, tool_choice, tools och top_p. Använd response_format eller structured_outputs när du behöver JSON, och tools med tool_choice när du vill att modellen ska anropa funktioner som du definierar. Parametern seed låter dig göra samplingen mer reproducerbar, och stop låter dig avbryta genereringen vid en vald sekvens.

Ha kunskapsgränsen 2024-03-31 i åtanke: modellen kommer inte att känna till händelser eller biblioteksändringar efter det datumet, så för aktuell information bör du tillhandahålla den i prompten eller via en fil. Om din uppgift inte är textbaserad passar den här modellen inte, eftersom den bara tar emot text och filer som indata och bara producerar text. Inom dessa gränser är den ett generellt val för resonemang, kod och JSON-arbete, och parameterlistan ger dig tillräcklig kontroll över sampling, utdataform och verktygsanvändning för att integrera den i befintlig OpenAI-kompatibel kod med små ändringar.