Mistral Large

Mistral Large ist ein Textgenerierungsmodell von Mistral, das vom Anbieter als dessen Flaggschiffmodell positioniert wird. Die hier bereitgestellte Version ist Mistral Large 2 (mistral-large-2407), ein proprietäres Modell mit verfügbaren Gewichten, das Mistral als stark in den Bereichen Reasoning, Code, JSON und Chat beschreibt. Es wurde vom Anbieter am 26. Februar 2024 veröffentlicht, und sein Wissensstand endet am 30. November 2024, sodass alles, was nach diesem Datum geschah, außerhalb dessen liegt, was das Modell während des Trainings gelernt hat.

Das Modell akzeptiert Texteingaben und Dateieingaben und gibt Text zurück. Es hat ein Kontextfenster von 128.000 Tokens, was ausreicht, um lange Dokumente, große Codedateien oder ausgedehnte Konversationen in einer einzigen Anfrage unterzubringen, und es kann bis zu 102.400 Tokens in einer Antwort erzeugen. Da Dateien eine akzeptierte Eingabemodalität sind, können Sie Dokumentinhalte zusammen mit Ihren Anweisungen übergeben, anstatt alles selbst in den Prompt einzufügen. Die Ausgabe ist ausschließlich Text, wenn Sie also Bilder oder Audio benötigen, brauchen Sie ein anderes Modell.

Diese Fähigkeiten deuten auf eine ziemlich breite Palette praktischer Anwendungen hin. Der lange Kontext und die Stärke im Reasoning eignen sich für Dokumentenanalyse, Zusammenfassung und Fragebeantwortung über umfangreiches Quellmaterial, einschließlich Verträgen, Berichten und Forschungsarbeiten, die als Dateien bereitgestellt werden. Der Anbieter hebt Code und JSON hervor, daher sind Aufgaben zur Codeerklärung, Codegenerierung und Refaktorierung gut geeignet, ebenso wie die Erzeugung strukturierter JSON-Payloads für nachgelagerte Systeme. Auch Chat- und assistentenartige Anwendungen funktionieren gut, insbesondere wenn die Konversation viel vorherigen Kontext ohne Kürzung mitführen muss.

Sie rufen das Modell über die OpenAI-kompatible API von api14 mit der Modell-ID "mistralai/mistral-large" auf. Da der Endpunkt dem OpenAI-Schema folgt, funktionieren bestehende OpenAI-Clientbibliotheken und Anfrageformen, wenn nur die Basis-URL und die Modell-ID geändert werden. Die unterstützten Anfrageparameter sind frequency_penalty, max_tokens, presence_penalty, response_format, seed, stop, structured_outputs, temperature, tool_choice, tools und top_p. Tool-Aufrufe sind über tools und tool_choice verfügbar, und structured_outputs plus response_format ermöglichen es Ihnen, die Form des zurückgegebenen Textes einzuschränken, wenn Sie zuverlässiges JSON benötigen. Der Parameter seed hilft, wenn Sie wiederholbares Sampling wünschen, und stop, temperature und top_p geben Ihnen Kontrolle darüber, wo und wie das Modell generiert.

Behalten Sie den Wissensstand im Hinterkopf: Bei Fragen zu Ereignissen nach dem 30. November 2024 hat das Modell kein eingebautes Wissen und benötigt diese Informationen im Prompt oder über Tools. Der Kontext von 128.000 Tokens und die Obergrenze von 102.400 Tokens für die Ausgabe sind großzügig, aber endlich, sodass sehr große Korpora weiterhin Chunking oder Retrieval benötigen. Wenn Ihre Aufgabe nicht textbasiert ist oder Sie speziell ein Modell mit einem neueren Wissensstand benötigen, könnte ein anderes Modell auf api14 die bessere Wahl sein.