Meta: Llama 3.2 3B Instruct

Meta: Llama 3.2 3B Instruct ist ein Textmodell von Meta, das auf api14 als meta-llama/llama-3.2-3b-instruct identifiziert wird. Es ist ein mehrsprachiges Large Language Model mit 3 Milliarden Parametern, das auf einer Transformer-Architektur aufbaut und für Instruction Following abgestimmt wurde. Meta veröffentlichte es am 25. September 2024, und sein Knowledge Cutoff ist der 31. Dezember 2023. Das Modell gehört zur Kategorie Text und zielt somit auf Spracharbeit ab, nicht auf Bilder, Audio oder andere Modalitäten.

Auf der Eingabeseite akzeptiert es Text und gibt Text zurück. Das Kontextfenster beträgt 131.072 Tokens, was für ein Modell dieser Größe groß ist und es ermöglicht, lange Dokumente, Transkripte oder mehrstufige Verläufe in einer einzigen Anfrage zu übergeben. Die maximale Ausgabe beträgt 117.964 Tokens, sodass auch Antworten lang sein können. Meta beschreibt das Modell als optimiert für Aufgaben der natürlichen Sprachverarbeitung wie Dialoggenerierung, Reasoning und Zusammenfassung, und sein mehrsprachiges Training bedeutet, dass es Prompts in mehr als einer Sprache verarbeiten kann.

Diese Fähigkeiten deuten auf eine ziemlich klare Reihe von Anwendungen hin. Zusammenfassung passt natürlich: Lange Berichte, Besprechungsnotizen oder Artikelentwürfe können hineingehen und eine kürzere Version kommt heraus. Dialoggenerierung macht es geeignet für Chat-Assistenten, Support-Bots und konversationelle Schnittstellen, bei denen das Instruction Tuning die Antworten auf Kurs hält. Reasoning-Aufgaben, etwa das Durcharbeiten eines im Prompt dargestellten Problems oder das Extrahieren strukturierter Antworten aus unstrukturiertem Text, liegen ebenfalls im Rahmen. Da das Modell klein ist, ist es eine vernünftige Wahl, wenn Sie niedrige Latenz wünschen oder viele Anfragen ausführen möchten, und der lange Kontext bedeutet, dass Sie Dokumente nicht aggressiv aufteilen müssen, bevor Sie sie senden.

Sie rufen es über die OpenAI-kompatible API von api14 mit der Modell-ID meta-llama/llama-3.2-3b-instruct auf. Da die Schnittstelle dem OpenAI-Format folgt, funktionieren bestehende Clients und SDKs im Allgemeinen, wenn nur die Base URL und die Modell-ID geändert werden. Die unterstützten Anfrageparameter sind frequency_penalty, logit_bias, logprobs, max_tokens, min_p, presence_penalty, repetition_penalty, seed, stop, structured_outputs, temperature, top_k, top_logprobs und top_p. Das deckt die üblichen Sampling-Steuerungen ab (temperature, top_p, top_k, min_p), Strafen für Wiederholung, deterministische Läufe über seed, Stop-Sequenzen, Token-Limits und die Inspektion von Log-Wahrscheinlichkeiten über logprobs und top_logprobs. Strukturierte Ausgaben werden ebenfalls unterstützt, was hilft, wenn die Antwort einem Schema entsprechen muss.

Der wichtigste Punkt zum Abwägen ist die Modellgröße. Mit 3 Milliarden Parametern ist es ein kompaktes Modell, daher kann für Aufgaben, die tiefes Reasoning oder breites Weltwissen verlangen, ein größeres Modell besser dienen. Es ist außerdem nur Text, sodass alles, was andere Eingabetypen betrifft, hier nicht infrage kommt. Wenn Ihre Arbeitslast Zusammenfassung, Dialog oder moderates Reasoning ist und Sie ein langes Kontextfenster schätzen, ist dieses Modell eine praktische Wahl.