Mistral Large

Mistral Large è un modello di generazione di testo di Mistral, posizionato dal provider come suo modello di punta. La versione servita qui è Mistral Large 2 (mistral-large-2407), un modello proprietario con pesi disponibili che Mistral descrive come forte nel ragionamento, nel codice, nel JSON e nella chat. È stato rilasciato dal provider il 26 febbraio 2024, e il suo knowledge cutoff è il 30 novembre 2024, quindi tutto ciò che è accaduto dopo quella data è al di fuori di ciò che il modello ha appreso durante l'addestramento.

Il modello accetta input di testo e file e restituisce testo. Ha una finestra di contesto di 128.000 token, sufficiente a contenere documenti lunghi, file di codice di grandi dimensioni o conversazioni estese in una singola richiesta, e può produrre fino a 102.400 token in una risposta. Poiché i file sono una modalità di input accettata, puoi passare il contenuto di un documento insieme alle tue istruzioni invece di incollare tutto nel prompt. L'output è solo testo, quindi se hai bisogno di immagini o audio ti servirà un modello diverso.

Queste capacità indicano un insieme piuttosto ampio di usi pratici. Il contesto lungo e la forza nel ragionamento si adattano all'analisi di documenti, alla summarizzazione e al question answering su materiale di partenza lungo, inclusi contratti, report e articoli di ricerca forniti come file. Il provider mette in evidenza codice e JSON, quindi compiti di spiegazione, generazione e refactoring del codice sono adatti, così come la produzione di payload JSON strutturati per sistemi a valle. Anche le applicazioni di chat e in stile assistente funzionano bene, in particolare quando la conversazione deve portare con sé molto contesto precedente senza troncamenti.

Chiami il modello tramite l'API compatibile con OpenAI di api14 usando il model id "mistralai/mistral-large". Poiché l'endpoint segue lo schema OpenAI, le librerie client OpenAI esistenti e le forme di richiesta funzionano cambiando solo la base URL e il model id. I parametri di richiesta supportati sono frequency_penalty, max_tokens, presence_penalty, response_format, seed, stop, structured_outputs, temperature, tool_choice, tools e top_p. La chiamata di strumenti è disponibile tramite tools e tool_choice, e structured_outputs più response_format ti permettono di vincolare la forma del testo restituito quando hai bisogno di JSON affidabile. Il parametro seed è utile quando vuoi un campionamento ripetibile, e stop, temperature e top_p ti danno controllo su dove e come il modello genera.

Tieni presente il knowledge cutoff: per domande su eventi successivi al 30 novembre 2024, il modello non ha conoscenza integrata e avrà bisogno che tali informazioni siano fornite nel prompt o tramite strumenti. Il contesto di 128.000 token e il tetto di output di 102.400 token sono generosi ma finiti, quindi corpora molto grandi richiedono comunque chunking o retrieval. Se il tuo compito non è basato su testo, o se hai specificamente bisogno di un modello con un cutoff più recente, un altro modello su api14 potrebbe essere la scelta migliore.