Meta: Llama 3.1 70B Instruct

Meta: Llama 3.1 70B Instruct ist ein Textgenerierungsmodell von Meta, Teil der Llama 3.1 Familie, die am 23. Juli 2024 eingeführt wurde. Es ist die Version mit 70 Milliarden Parametern, abgestimmt auf Instruction Following, was bedeutet, dass es darauf ausgelegt ist, auf Prompts zu antworten und Dialoge zu führen, statt einfach nur Rohtext fortzusetzen. Meta positioniert diese Instruct-Variante als optimiert für hochwertige Dialog-Anwendungsfälle, und sie liegt gemessen an der Größe in der Mitte der Llama 3.1 Reihe.

Das Modell akzeptiert Text als Eingabe und gibt Text als Ausgabe zurück, es ist also ein reines Sprachmodell ohne Bild-, Audio- oder Videoverarbeitung. Sein Kontextfenster beträgt 131.072 Token, was groß genug ist, um lange Dokumente, ausgedehnte Gespräche oder umfangreiche Codedateien in einer einzigen Anfrage aufzunehmen. Die maximale Ausgabelänge beträgt 16.384 Token, Antworten können also substanziell sein, sind aber deutlich unter dem Eingabelimit gedeckelt. Sein Wissensstand endet am 31. Dezember 2023, das heißt, alles nach diesem Datum liegt außerhalb dessen, was es während des Trainings gelernt hat.

Diese Eigenschaften deuten auf einen ziemlich klaren Satz praktischer Verwendungen hin. Der lange Kontext eignet sich für Zusammenfassung und Fragebeantwortung über umfangreiche Dokumente, Vertragsprüfung, Forschungssynthese und mehrstufigen Chat, bei dem frühere Teile des Gesprächs im Blick bleiben müssen. Instruction Tuning macht es zu einer vernünftigen Wahl für Assistenten, Formulierung, Umschreibung, Klassifikation und Extraktionsaufgaben. Da das Modell Tool Calling und strukturierte Ausgaben unterstützt, kann es auch in Pipelines verwendet werden, in denen das Modell Daten in einer definierten Form zurückgeben oder externe Funktionen aufrufen muss, statt nur freien Text zu erzeugen.

Sie rufen es über die OpenAI-kompatible API von api14 mit der Modell-ID meta-llama/llama-3.1-70b-instruct auf. Da die Schnittstelle dem OpenAI-Schema folgt, können Sie einen bestehenden OpenAI-Client auf die Base-URL von api14 richten und diese ID im Feld model übergeben. Die unterstützten Anfrageparameter sind frequency_penalty, logit_bias, max_tokens, min_p, presence_penalty, repetition_penalty, response_format, seed, stop, structured_outputs, temperature, tool_choice, tools, top_k und top_p. Das deckt die üblichen Sampling-Steuerungen ab, deterministische Ausgabe über seed, Stoppsequenzen sowie sowohl Tool Calling als auch strukturierte Ausgabemodi.

Ein paar Grenzen sollten bei der Entscheidung bedacht werden. Die Ausgabe ist auf 16.384 Token begrenzt, obwohl das Kontextfenster viel größer ist, daher können Aufgaben, die sehr lange einzelne Antworten benötigen, eine Aufteilung oder ein anderes Modell erfordern. Der Wissensstand vom 31. Dezember 2023 bedeutet, dass aktuelle Ereignisse nicht abgedeckt sind, es sei denn, Sie geben sie im Prompt an. Und da Eingabe und Ausgabe nur Text sind, fällt alles mit Bildern oder Audio außerhalb dessen, was dieses Modell leisten kann.