Mistral: Mixtral 8x22B Instruct

Mistral: Mixtral 8x22B Instruct è un modello testuale di Mistral, rilasciato dal provider il 17 aprile 2024. È la versione instruct ufficiale fine-tuned di Mixtral 8x22B, un design sparse mixture-of-experts che utilizza 39B parametri attivi su 141B. Il tuning instruct adatta il modello base a seguire istruzioni e rispondere direttamente alle richieste, che è ciò che la maggior parte degli sviluppatori di applicazioni desidera quando chiama un modello tramite un'API.

Il modello accetta input di testo e file e restituisce testo. La sua finestra di contesto è di 65.536 token, e l'output massimo è di 52.428 token, quindi input lunghi e generazioni lunghe sono entrambi possibili nella stessa richiesta. Il knowledge cutoff è il 31 gennaio 2024, il che significa che qualsiasi cosa successiva a quella data è al di fuori di ciò su cui il modello è stato addestrato. Mistral evidenzia forti capacità matematiche e di coding come punti di forza particolari di questo modello, insieme all'efficienza dei costi per le sue dimensioni.

Queste capacità indicano un insieme piuttosto ampio di usi pratici. Il contesto lungo si presta al lavoro su documenti di grandi dimensioni, che si tratti di riassumere un lungo report, estrarre dettagli strutturati da un file o rispondere a domande su un corpo di testo fornito nel prompt. I punti di forza in matematica e coding lo rendono adatto per l'assistenza al codice, come spiegare o generare codice, e per attività quantitative che richiedono ragionamento passo dopo passo. Poiché accetta file come input, può essere utilizzato in pipeline in cui i documenti vengono passati direttamente anziché incollati come testo semplice. Il tool calling e gli output strutturati lo rendono inoltre adatto a workflow in stile agente e alla produzione di risposte che il codice a valle può analizzare.

Lo si chiama tramite l'API compatibile con OpenAI di api14 usando il model id "mistralai/mixtral-8x22b-instruct". I parametri di richiesta supportati sono frequency_penalty, max_tokens, presence_penalty, response_format, seed, stop, structured_outputs, temperature, tool_choice, tools e top_p. In pratica questo copre i consueti controlli di campionamento (temperature, top_p, penalità, seed, stop), la lunghezza dell'output tramite max_tokens, la modellazione della risposta tramite response_format e structured_outputs, e il function calling tramite tools e tool_choice. Se si ha già codice scritto per la forma delle chat completions di OpenAI, passare a questo modello è in gran parte una questione di cambiare il model id.

Una cosa da tenere a mente è il knowledge cutoff del 31 gennaio 2024, quindi le domande su eventi successivi non riceveranno risposta dai dati di addestramento e potrebbero richiedere retrieval o contesto fornito nel prompt. Il modello è solo testuale sul lato output, quindi le attività che richiedono la generazione di immagini o audio sono fuori ambito. Se il proprio carico di lavoro dipende da informazioni molto recenti o da modalità oltre l'input di testo e file, un altro modello potrebbe essere più adatto.