Meta: Llama 3.3 70B Instruct

Meta: Llama 3.3 70B Instruct ist ein Textgenerierungsmodell von Meta, veröffentlicht am 6. Dezember 2024. Es gehört zur Llama 3.3 Familie, einem mehrsprachigen großen Sprachmodell, das Meta sowohl vortrainiert als auch instruktionsoptimiert mit 70B Parametern hat. Die instruktionsoptimierte Variante ist textbasiert, was bedeutet, dass sie für promptgesteuerte Aufgaben und nicht für multimodale Eingaben entwickelt wurde.

Das Modell nimmt Text entgegen und gibt Text aus, mit einem Kontextfenster von 131.072 Tokens und einer maximalen Ausgabe von 16.384 Tokens. Sein Wissensstand reicht bis zum 31. Dezember 2023, sodass alles nach diesem Datum außerhalb dessen liegt, was es während des Trainings gelernt hat. Da es instruktionsoptimiert ist, befolgt es Anweisungen in einem Prompt ziemlich direkt, was es für Aufgaben geeignet macht, bei denen man beschreibt, was man möchte, anstatt Beispiele zu liefern.

Diese Fähigkeiten deuten auf ein ziemlich breites Spektrum praktischer Anwendungen hin. Arbeit mit langem Kontext wie das Zusammenfassen oder Abfragen umfangreicher Dokumente passt zum Kontextfenster von 131.072 Tokens, und die Obergrenze der Ausgabe von 16.384 Tokens unterstützt Antworten, die weit über eine kurze Antwort hinausgehen. Mehrsprachige Generierung und Chat-Assistenten sind angesichts des mehrsprachigen Trainings des Modells naheliegende Einsatzbereiche. Die Befolgung von Anweisungen macht es auch zu einer vernünftigen Wahl für Extraktion, Umschreibung, Klassifikation und ähnliche Transformationsaufgaben, bei denen die Eingabe Text und die Ausgabe Text ist.

Man ruft es über die OpenAI-kompatible API von api14 mit der Modell-ID "meta-llama/llama-3.3-70b-instruct" auf. Der Endpunkt akzeptiert die übliche Anfrageform im Chat-Stil, und das Modell unterstützt eine breite Palette von Parametern: frequency_penalty, logit_bias, logprobs, max_tokens, min_p, presence_penalty, repetition_penalty, response_format, seed, stop, structured_outputs, temperature, tool_choice, tools, top_k, top_logprobs und top_p. Tool-Aufrufe und strukturierte Ausgaben sind beide verfügbar, sodass Funktionsaufrufe und schemaeingeschränkte Antworten Optionen und keine Behelfslösungen sind.

Zwei Einschränkungen sollte man bei der Wahl dieses Modells beachten. Es akzeptiert nur Text, sodass Bild-, Audio- oder andere nicht-textuelle Eingaben außerhalb des Rahmens liegen, und sein Wissen endet Ende 2023, was bei Fragen zu aktuellen Ereignissen wichtig ist, es sei denn, man liefert den Kontext selbst. Wenn Ihre Aufgabe von diesen Dingen abhängt, wäre ein Modell mit der relevanten Eingabemodalität oder einem neueren Wissensstand besser geeignet.