Meta: Llama 3.1 70B Instruct ist ein Textmodell von Meta, veröffentlicht am 2024-07-23. Mistral: Saba ist ein Textmodell von Mistral, veröffentlicht am 2025-02-17. Beide werden über api14 als Chat-Completions-Modelle bereitgestellt, und beide akzeptieren Text-Prompts und geben Text zurück. Der wesentliche strukturelle Unterschied besteht darin, dass Saba auch Dateieingaben akzeptiert, sodass du ein Dokument zusammen mit deinem Prompt übergeben kannst, anstatt seinen Inhalt in die Nachricht einzufügen.
Die beiden Modelle unterscheiden sich am deutlichsten bei Kontextfenster und Modalitäten. Llama 3.1 70B Instruct hat eine Kontextlänge von 131072 Tokens, während Saba 32768 Tokens hat, sodass Llama dir etwa viermal so viel Raum für lange Eingaben bietet. Saba ist der einzige der beiden, der Dateieingaben annimmt; Llama 3.1 70B Instruct ist Text rein, Text raus. Bei den Parametern bietet Llama eine breitere Auswahl, darunter logit_bias, min_p, repetition_penalty und top_k, die Saba nicht auflistet. Beide unterstützen tools, tool_choice, structured_outputs, response_format, seed, stop, temperature, top_p, frequency_penalty, presence_penalty und max_tokens, sodass Function Calling und Ausgabe im JSON-Stil auf beiden Seiten verfügbar sind. Beim Preis ist Saba die günstigere Option für Eingaben, während Llama 3.1 70B Instruct die günstigere Option für Ausgaben ist, sodass das bessere Angebot davon abhängt, wie viel du sendest gegenüber wie viel du generierst.
Für die praktische Auswahl greifst du zu Llama 3.1 70B Instruct, wenn dein Prompt oder deine Konversation lang ist, wenn du die zusätzlichen Sampling-Steuerungen wie logit_bias, min_p, repetition_penalty oder top_k benötigst, oder wenn deine Arbeitslast ausgabelastig ist und die günstigere Ausgaberate mehr zählt. Greifst du zu Mistral: Saba, wenn du dem Modell direkt eine Datei übergeben möchtest, anstatt ihren Text selbst zu extrahieren, wenn deine Eingaben bequem in 32768 Tokens passen, oder wenn deine Arbeitslast eingabelastig ist und die günstigere Eingaberate mehr zählt. Wenn du unsicher bist, ist das Kontextfenster normalerweise der entscheidende Faktor: Alles, was 32768 Tokens überschreiten würde, muss zu Llama gehen.
Der Aufruf eines der beiden Modelle über api14 funktioniert auf die gleiche Weise, weil die API OpenAI-kompatibel ist. Du richtest deinen vorhandenen OpenAI-Client auf die api14-Basis-URL, sendest deinen Schlüssel und setzt das Feld model auf die ID, die du möchtest. Um Modelle zu wechseln, änderst du nur diesen String, zwischen "meta-llama/llama-3.1-70b-instruct" und "mistralai/mistral-saba". Die Anfrageform, das messages-Array und das Parsen der Antwort bleiben identisch, sodass du einen Aufruf von einem Modell zum anderen verschieben kannst, indem du eine einzige Zeile bearbeitest, oder zur Laufzeit zwischen ihnen routen kannst, basierend auf der Eingabelänge oder darauf, ob eine Datei angehängt ist.
Es gibt Fälle, in denen das andere Modell immer noch die bessere Wahl ist, selbst nachdem du dich entschieden hast. Wenn du mit Saba wegen seiner Dateieingabe und der günstigeren Eingaberate beginnst, aber eine Anfrage über 32768 Tokens hinauswächst oder du logit_bias, min_p, repetition_penalty oder top_k benötigst, ist Llama 3.1 70B Instruct dasjenige, das sie bedienen kann. Wenn du mit Llama wegen seines langen Kontexts und der günstigeren Ausgabe beginnst, aber lieber ein Dokument als Datei übergibst, anstatt seinen Text einzufügen, deckt Saba das ab. Keines der Modelle ist strikt besser; die Wahl folgt deiner Eingabegröße, ob du Dateieingaben benötigst, auf welche Sampling-Parameter du dich verlässt und ob dein Token-Verbrauch eher zu Eingaben oder Ausgaben neigt.