Mistral: Mistral Small 3

Mistral Small 3 ist ein Textgenerierungsmodell von Mistral, das vom Anbieter am 30. Januar 2025 veröffentlicht wurde. Es ist ein Sprachmodell mit 24B Parametern, optimiert für geringe Latenz bei gängigen KI-Aufgaben, und es wird unter der Apache 2.0 Lizenz veröffentlicht. Es existieren sowohl vortrainierte als auch instruktionsoptimierte Versionen, und die instruktionsoptimierte Variante ist diejenige, die hier unter der Modell-ID mistralai/mistral-small-24b-instruct-2501 bereitgestellt wird.

Das Modell arbeitet mit Texteingabe und erzeugt Textausgabe, sodass es für standardmäßige Chat- und Completion-Workloads geeignet ist. Es hat ein Kontextfenster von 32768 Tokens, das den Prompt und die generierte Antwort zusammen abdeckt, und es kann bis zu 16384 Tokens in einer einzelnen Ausgabe erzeugen. Sein Wissensstand endet am 31. Oktober 2023, sodass alles, was nach diesem Datum geschah, außerhalb dessen liegt, was das Modell während des Trainings gelernt hat. Die Kombination aus moderater Parameteranzahl und 32k Kontext macht es zu einem Allzweck-Instruct-Modell statt zu einem Spezialisten für eine einzelne enge Aufgabe.

Da es instruktionsoptimiert und auf geringe Latenz ausgelegt ist, eignet sich das Modell für alltägliche Aufgaben, bei denen Antwortgeschwindigkeit zählt: Chat-Assistenten, Zusammenfassung, Umschreiben, Klassifikation, Extraktion und Fragebeantwortung über Material, das in das Kontextfenster passt. Die Obergrenze von 16384 Tokens für die Ausgabe ermöglicht längere Generierungen wie mehrabsätzige Entwürfe oder strukturierte Dokumente, während der Kontext von 32768 Tokens Prompts unterstützt, die eine beträchtliche Menge Referenztext enthalten, zum Beispiel einige Dokumente oder einen langen Gesprächsverlauf. Entwickler, die ein zuverlässiges Textmodell für Endpunkte mit hohem Volumen und Latenzempfindlichkeit benötigen, sind die Zielgruppe.

Sie rufen es über die OpenAI-kompatible API von api14 mit der Modell-ID mistralai/mistral-small-24b-instruct-2501 auf, was bedeutet, dass bestehende OpenAI-Client-Bibliotheken und Request-Formate funktionieren, wenn nur der Modellname geändert wird. Das Modell unterstützt frequency_penalty, logit_bias, max_tokens, min_p, presence_penalty, repetition_penalty, response_format, seed, stop, structured_outputs, temperature, top_k und top_p. Strukturierte Ausgaben und response_format sind für Fälle verfügbar, in denen Sie die Antwort in einer definierten Form benötigen, und seed kann helfen, das Sampling reproduzierbarer zu machen. Das Sampling-Verhalten wird über temperature, top_p, top_k und min_p gesteuert, während repetition_penalty, frequency_penalty und presence_penalty beeinflussen, wie stark sich das Modell wiederholt.

Zwei praktische Einschränkungen sind vor einer Entscheidung erwähnenswert. Der Wissensstand vom 31. Oktober 2023 bedeutet, dass das Modell keine eingebaute Kenntnis späterer Ereignisse hat, sodass Anwendungen, die auf aktuelle Informationen angewiesen sind, diese im Prompt bereitstellen müssen. Eingabe und Ausgabe sind ausschließlich Text, sodass dieses Modell nicht passt, wenn Ihr Workload Bilder oder Audio umfasst. Und mit einem Kontextfenster von 32768 Tokens müssen sehr große Eingaben eher aufgeteilt oder per Retrieval abgerufen werden, statt vollständig übergeben zu werden.