Mistral: Mistral Medium 3.5 (batch)

Mistral Medium 3.5 (batch) ist ein Textgenerierungsmodell von Mistral AI, das auf api14 als mistralai/mistral-medium-3-5:batch identifiziert wird. Es ist ein dichtes 128B-Modell zur Befehlsbefolgung, was bedeutet, dass alle seine Parameter bei jeder Anfrage aktiv sind, anstatt über ein Mixture-of-Experts-Setup geroutet zu werden. Die Batch-Variante ist die Version, die über diesen Endpunkt bereitgestellt wird, und das Modell befindet sich auf api14 in der Textkategorie.

Das Modell akzeptiert Text-, Bild- und Dateieingaben und gibt nur Text zurück. Sein Kontextfenster beträgt 262.144 Token, und die maximale Ausgabelänge beträgt 209.715 Token, sodass es sehr große Eingaben aufnehmen und lange Antworten in einem einzigen Aufruf erzeugen kann. Da Bilder und Dateien neben Text akzeptiert werden, können Sie gemischte Prompts senden, die schriftliche Anweisungen mit visuellen Inhalten oder Dokumentinhalten kombinieren, und das Modell wird über all dies reasoning betreiben, bevor es seine Antwort generiert.

Diese Fähigkeiten deuten auf einige praktische Anwendungen hin. Das große Kontextfenster eignet sich für Arbeit über lange Dokumente, Codebasen oder Multi-Datei-Eingaben, bei denen Sie sonst Ergebnisse aufteilen und zusammenfügen müssten. Bildeingabe macht es passend für Aufgaben, die Screenshots, Diagramme oder gescannte Seiten mit Textanweisungen mischen. Mistral beschreibt das Modell als für agentische Workflows, Coding und komplexe Aufgaben konzipiert, daher sind Tool Calling und strukturierte Generierung vernünftige Ausgangspunkte. Die Batch-Variante ist eine natürliche Wahl für Offline- oder durchsatzorientierte Jobs, bei denen Sie viele Anfragen einreichen und die Ergebnisse einsammeln, rather than für interaktiven Chat, bei dem Latenz am wichtigsten ist.

Sie rufen das Modell über die OpenAI-kompatible API von api14 mit der Modell-ID mistralai/mistral-medium-3-5:batch auf. Der Endpunkt unterstützt frequency_penalty, include_reasoning, max_tokens, presence_penalty, reasoning, reasoning_effort, response_format, seed, stop, structured_outputs, temperature, tool_choice, tools und top_p. In der Praxis bedeutet das, dass Sie die Sampling-Steuerung mit temperature, top_p und den beiden Penalty-Parametern vornehmen, die Ausgabe mit max_tokens begrenzen, die Zufälligkeit mit seed fixieren und Stop-Sequenzen definieren können. Für strukturierte Arbeit lassen Sie mit response_format und structured_outputs die Form der Antwort einschränken, während tools und tool_choice Function Calling unterstützen und die Reasoning-Parameter es Ihnen ermöglichen, abzustimmen, wie viel internes Reasoning das Modell offenlegt oder ausführt.

Ein Punkt, den es abzuwägen gilt, ist die Batch-Bezeichnung. Wenn Ihre Anwendung latenzarme, turn-by-turn Antworten benötigt, ist ein Nicht-Batch-Modell wahrscheinlich die bessere Wahl, und dasselbe gilt, wenn Sie nur Text-Ein- und -Ausgabe benötigen, da die Bild- und Dateimodalitäten ungenutzt blieben. Der Kontext von 262.144 Token und die Obergrenze der Ausgabe von 209.715 Token sind großzügig, aber sie sind immer noch endlich, sodass extrem große Korpora möglicherweise über mehrere Aufrufe aufgeteilt werden müssen. Innerhalb dieser Grenzen deckt das Modell Langkontext-Textarbeit, multimodale Prompts, Coding und toolgesteuerte Agentenflüsse von einem einzigen Endpunkt aus ab.