Mistral Large 2407

Mistral Large 2407 è un modello di generazione di testo di Mistral, identificato su api14 come mistralai/mistral-large-2407. È il modello di punta di Mistral, Mistral Large 2, nella sua versione 2407, e Mistral lo descrive come un modello proprietario con pesi disponibili. È stato rilasciato dal provider il 2024-11-19 e ha un knowledge cutoff del 2024-03-31.

Il modello accetta input di testo e file e restituisce testo. Ha una finestra di contesto di 131072 token e un output massimo di 104857 token, quindi input lunghi e generazioni lunghe sono entrambi possibili nella stessa richiesta. Mistral lo posiziona come forte su reasoning, codice, JSON e chat. I parametri di richiesta supportati includono temperature, top_p, frequency_penalty, presence_penalty, max_tokens, stop, seed, response_format, structured_outputs, tools e tool_choice.

Poiché gestisce bene reasoning, codice e JSON, è adatto a compiti come analisi multi-step, generazione e revisione di codice, e assistenti chat che devono mantenere una lunga conversazione o un grande documento nel contesto. La modalità di input file lo rende utilizzabile per flussi di lavoro in cui un documento viene fornito insieme a una domanda, e i parametri di output strutturato e tool calling lo rendono una scelta ragionevole per pipeline che necessitano di risposte leggibili dalla macchina o che collegano il modello a funzioni esterne. Il grande limite di output aiuta quando la risposta stessa è lunga, per esempio un file completo, un report dettagliato o una spiegazione estesa.

Lo chiami tramite l'API compatibile con OpenAI di api14 usando l'id del modello "mistralai/mistral-large-2407". Le richieste seguono la forma delle chat completions di OpenAI, quindi invii messaggi e imposti i parametri nei campi usuali. Il modello supporta frequency_penalty, max_tokens, presence_penalty, response_format, seed, stop, structured_outputs, temperature, tool_choice, tools e top_p. Usa response_format o structured_outputs quando hai bisogno di JSON, e tools con tool_choice quando vuoi che il modello chiami funzioni che definisci tu. Il parametro seed ti permette di rendere il campionamento più riproducibile, e stop ti permette di interrompere la generazione a una sequenza scelta.

Tieni presente il knowledge cutoff del 2024-03-31: il modello non conoscerà eventi o modifiche alle librerie successive a quella data, quindi per informazioni recenti dovresti fornirle nel prompt o tramite un file. Se il tuo compito non è basato su testo, questo modello non sarà adatto, poiché accetta solo input di testo e file e produce solo testo. Entro questi limiti è una scelta generale per lavori di reasoning, codice e JSON, e la lista di parametri ti dà sufficiente controllo su campionamento, forma dell'output e uso degli strumenti per integrarlo in codice esistente compatibile con OpenAI con poche modifiche.