Mistral: Mixtral 8x22B Instruct

Mistral: Mixtral 8x22B Instruct ist ein Textmodell von Mistral, das vom Anbieter am 17. April 2024 veröffentlicht wurde. Es ist die offizielle instruct-feinabgestimmte Version von Mixtral 8x22B, einem sparse Mixture-of-Experts-Design, das 39B aktive Parameter von 141B nutzt. Das Instruct-Tuning passt das Basismodell daran an, Anweisungen zu befolgen und Anfragen direkt zu beantworten, was die meisten Anwendungsentwickler wollen, wenn sie ein Modell über eine API aufrufen.

Das Modell nimmt Text- und Dateieingaben entgegen und gibt Text zurück. Sein Kontextfenster beträgt 65.536 Token, und die maximale Ausgabe beträgt 52.428 Token, sodass sowohl lange Eingaben als auch lange Generierungen innerhalb derselben Anfrage möglich sind. Der Knowledge Cutoff ist der 31. Januar 2024, was bedeutet, dass alles nach diesem Datum außerhalb dessen liegt, worauf das Modell trainiert wurde. Mistral hebt starke Mathematik- und Coding-Fähigkeiten als besondere Stärken dieses Modells hervor, zusammen mit Kosteneffizienz für seine Größe.

Diese Fähigkeiten deuten auf eine ziemlich breite Palette praktischer Einsatzmöglichkeiten hin. Der lange Kontext eignet sich für die Arbeit mit großen Dokumenten, sei es das Zusammenfassen eines langen Berichts, das Extrahieren strukturierter Details aus einer Datei oder das Beantworten von Fragen zu einem im Prompt bereitgestellten Textkorpus. Die Stärken in Mathematik und Coding machen es zu einer sinnvollen Wahl für Code-Unterstützung, etwa zum Erklären oder Generieren von Code, und für quantitative Aufgaben, die schrittweises Schlussfolgern erfordern. Da es Dateien als Eingabe akzeptiert, kann es in Pipelines verwendet werden, in denen Dokumente direkt übergeben werden, statt als reiner Text eingefügt zu werden. Tool Calling und strukturierte Ausgaben machen es außerdem geeignet für Agenten-ähnliche Workflows und für die Erzeugung von Antworten, die nachgelagerter Code parsen kann.

Sie rufen es über die OpenAI-kompatible API von api14 mit der Modell-ID "mistralai/mixtral-8x22b-instruct" auf. Die unterstützten Anfrageparameter sind frequency_penalty, max_tokens, presence_penalty, response_format, seed, stop, structured_outputs, temperature, tool_choice, tools und top_p. In der Praxis deckt das die üblichen Sampling-Steuerungen ab (temperature, top_p, Penalties, seed, stop), die Ausgabelänge über max_tokens, die Antwortformung über response_format und structured_outputs sowie Function Calling über tools und tool_choice. Wenn Sie bereits Code gegen die OpenAI-Chat-Completions-Form geschrieben haben, ist der Wechsel zu diesem Modell größtenteils eine Frage der Änderung der Modell-ID.

Eines sollten Sie beachten: der Knowledge Cutoff vom 31. Januar 2024, sodass Fragen zu späteren Ereignissen nicht aus Trainingsdaten beantwortet werden und möglicherweise Retrieval oder im Prompt bereitgestellten Kontext erfordern. Das Modell ist auf der Ausgabeseite text-only, sodass Aufgaben, die das Generieren von Bildern oder Audio erfordern, außerhalb des Umfangs liegen. Wenn Ihr Workload von sehr aktuellen Informationen oder von Modalitäten jenseits von Text- und Dateieingabe abhängt, könnte ein anderes Modell besser passen.