Mistral Large

Mistral Large är en textgenereringsmodell från Mistral, positionerad av leverantören som deras flaggskeppsmodell. Versionen som tillhandahålls här är Mistral Large 2 (mistral-large-2407), en proprietär modell med tillgängliga vikter som Mistral beskriver som stark inom resonemang, kod, JSON och chatt. Den släpptes av leverantören den 26 februari 2024, och dess kunskapsgräns är den 30 november 2024, så allt som hände efter det datumet ligger utanför vad modellen lärde sig under träningen.

Modellen tar emot text- och filindata och returnerar text. Den har ett kontextfönster på 128 000 tokens, vilket räcker för att hålla långa dokument, stora kodfiler eller utökade konversationer i en enda förfrågan, och den kan producera upp till 102 400 tokens i ett svar. Eftersom filer är en accepterad indatamodalitet kan du skicka dokumentinnehåll tillsammans med dina instruktioner istället för att klistra in allt i prompten själv. Utdata är endast text, så om du behöver bilder eller ljud behöver du en annan modell.

Dessa funktioner pekar mot en ganska bred uppsättning praktiska användningsområden. Den långa kontexten och resonemangsstyrkan passar för dokumentanalys, sammanfattning och frågebesvarande över omfattande källmaterial, inklusive kontrakt, rapporter och forskningsartiklar som tillhandahålls som filer. Leverantören framhäver kod och JSON, så kodförklaring, generering och refaktorering är rimliga användningsområden, liksom att producera strukturerade JSON-nyttolaster för nedströms system. Chatt- och assistentliknande applikationer fungerar också bra, särskilt när konversationen behöver bära mycket tidigare kontext utan trunkering.

Du anropar modellen genom api14:s OpenAI-kompatibla API med modell-id:t "mistralai/mistral-large". Eftersom slutpunkten följer OpenAI-schemat fungerar befintliga OpenAI-klientbibliotek och förfrågningsformat med endast bas-URL och modell-id ändrade. De stödda förfrågningsparametrarna är frequency_penalty, max_tokens, presence_penalty, response_format, seed, stop, structured_outputs, temperature, tool_choice, tools och top_p. Verktygsanrop är tillgängligt genom tools och tool_choice, och structured_outputs plus response_format låter dig begränsa formen på den returnerade texten när du behöver tillförlitlig JSON. Parametern seed hjälper när du vill ha repeterbar sampling, och stop, temperature och top_p ger dig kontroll över var och hur modellen genererar.

Ha kunskapsgränsen i åtanke: för frågor om händelser efter den 30 november 2024 har modellen ingen inbyggd kunskap och kommer att behöva den informationen tillhandahållas i prompten eller genom verktyg. Kontexten på 128 000 tokens och utdatataket på 102 400 tokens är generösa men ändliga, så mycket stora korpusar behöver fortfarande chunkning eller hämtning. Om din uppgift inte är textbaserad, eller om du specifikt behöver en modell med en mer aktuell kunskapsgräns, kan en annan modell på api14 vara det bättre valet.