Mistral Large 2407

Mistral Large 2407 ist ein Textgenerierungsmodell von Mistral, das auf api14 als mistralai/mistral-large-2407 identifiziert wird. Es ist Mistrals Flaggschiffmodell, Mistral Large 2, in seiner Version 2407, und Mistral beschreibt es als ein proprietäres Modell mit verfügbaren Gewichten. Es wurde vom Anbieter am 2024-11-19 veröffentlicht und hat einen Wissensstand vom 2024-03-31.

Das Modell akzeptiert Text- und Dateieingaben und gibt Text zurück. Es hat ein Kontextfenster von 131072 Tokens und eine maximale Ausgabe von 104857 Tokens, sodass sowohl lange Eingaben als auch lange Generierungen innerhalb derselben Anfrage möglich sind. Mistral positioniert es als stark bei Reasoning, Code, JSON und Chat. Die unterstützten Anfrageparameter umfassen temperature, top_p, frequency_penalty, presence_penalty, max_tokens, stop, seed, response_format, structured_outputs, tools und tool_choice.

Da es Reasoning, Code und JSON gut verarbeitet, eignet es sich für Aufgaben wie mehrstufige Analyse, Codegenerierung und -überprüfung sowie Chat-Assistenten, die ein langes Gespräch oder ein großes Dokument im Kontext halten müssen. Die Dateieingabe-Modalität macht es nutzbar für Workflows, bei denen ein Dokument zusammen mit einer Frage bereitgestellt wird, und die Parameter für strukturierte Ausgabe und Tool-Aufrufe machen es zu einer vernünftigen Wahl für Pipelines, die maschinenlesbare Antworten benötigen oder das Modell mit externen Funktionen verbinden. Die hohe Ausgabeobergrenze hilft, wenn die Antwort selbst lang ist, zum Beispiel eine vollständige Datei, ein detaillierter Bericht oder eine ausführliche Erklärung.

Sie rufen es über die OpenAI-kompatible API von api14 mit der Modell-ID "mistralai/mistral-large-2407" auf. Anfragen folgen der Form der OpenAI-Chat-Completions, sodass Sie Nachrichten senden und Parameter in den üblichen Feldern setzen. Das Modell unterstützt frequency_penalty, max_tokens, presence_penalty, response_format, seed, stop, structured_outputs, temperature, tool_choice, tools und top_p. Verwenden Sie response_format oder structured_outputs, wenn Sie JSON benötigen, und tools mit tool_choice, wenn das Modell von Ihnen definierte Funktionen aufrufen soll. Der Parameter seed ermöglicht es Ihnen, die Stichprobenentnahme reproduzierbarer zu machen, und stop ermöglicht es Ihnen, die Generierung an einer gewählten Sequenz abzubrechen.

Behalten Sie den Wissensstand vom 2024-03-31 im Hinterkopf: Das Modell kennt keine Ereignisse oder Bibliotheksänderungen nach diesem Datum, daher sollten Sie aktuelle Informationen im Prompt oder über eine Datei bereitstellen. Wenn Ihre Aufgabe nicht textbasiert ist, passt dieses Modell nicht, da es nur Text- und Dateieingaben akzeptiert und nur Text produziert. Innerhalb dieser Grenzen ist es eine allgemeine Wahl für Reasoning-, Code- und JSON-Arbeiten, und die Parameterliste gibt Ihnen genügend Kontrolle über Stichprobenentnahme, Ausgabeform und Tool-Nutzung, um es mit geringen Änderungen in bestehenden OpenAI-kompatiblen Code zu integrieren.