Mistral: Mistral Small 3

Mistral Small 3 è un modello di generazione di testo di Mistral, rilasciato dal provider il 30 gennaio 2025. È un modello linguistico da 24 miliardi di parametri ottimizzato per prestazioni a bassa latenza nelle comuni attività di intelligenza artificiale, ed è rilasciato con licenza Apache 2.0. Esistono sia versioni pre-addestrate sia versioni ottimizzate per le istruzioni, e la variante ottimizzata per le istruzioni è quella servita qui con l'id del modello mistralai/mistral-small-24b-instruct-2501.

Il modello funziona con input di testo e produce output di testo, quindi si adatta ai carichi di lavoro standard in stile chat e completamento. Ha una finestra di contesto di 32768 token, che copre insieme il prompt e la risposta generata, e può produrre fino a 16384 token in un singolo output. Il suo limite di conoscenza è il 31 ottobre 2023, quindi qualsiasi cosa sia accaduta dopo quella data è al di fuori di ciò che il modello ha appreso durante l'addestramento. La combinazione di un numero moderato di parametri e un contesto da 32k lo rende un modello instruct generico piuttosto che uno specialista in una singola attività ristretta.

Poiché è ottimizzato per le istruzioni e per la bassa latenza, il modello si adatta alle attività quotidiane in cui conta la velocità di risposta: assistenti di chat, riassunto, riscrittura, classificazione, estrazione e risposta a domande su materiale che rientra nella finestra di contesto. Il tetto di output di 16384 token consente generazioni più lunghe, come bozze di più paragrafi o documenti strutturati, mentre il contesto di 32768 token supporta prompt che includono una buona quantità di testo di riferimento, per esempio alcuni documenti o una lunga cronologia di conversazione. Gli sviluppatori che necessitano di un modello di testo affidabile per endpoint ad alto volume e sensibili alla latenza sono il pubblico previsto.

Lo si chiama tramite l'API compatibile con OpenAI di api14 usando l'id del modello mistralai/mistral-small-24b-instruct-2501, il che significa che le librerie client OpenAI esistenti e le forme delle richieste funzionano cambiando solo il nome del modello. Il modello supporta frequency_penalty, logit_bias, max_tokens, min_p, presence_penalty, repetition_penalty, response_format, seed, stop, structured_outputs, temperature, top_k e top_p. Gli output strutturati e response_format sono disponibili per i casi in cui serve la risposta in una forma definita, e seed può aiutare a rendere il campionamento più riproducibile. Il comportamento di campionamento è controllato tramite temperature, top_p, top_k e min_p, mentre repetition_penalty, frequency_penalty e presence_penalty modellano quanto il modello si ripete.

Due vincoli pratici meritano di essere notati prima di impegnarsi. Il limite di conoscenza del 31 ottobre 2023 significa che il modello non ha alcuna consapevolezza integrata di eventi successivi, quindi le applicazioni che dipendono da informazioni recenti devono fornirle nel prompt. Input e output sono solo testo, quindi se il carico di lavoro coinvolge immagini o audio, questo modello non è adatto. E con una finestra di contesto di 32768 token, input molto grandi dovranno essere suddivisi in blocchi o recuperati tramite retrieval invece di essere passati per intero.