Meta: Llama 3.2 3B Instruct

Meta: Llama 3.2 3B Instruct is een tekstmodel van Meta, geïdentificeerd op api14 als meta-llama/llama-3.2-3b-instruct. Het is een meertalig groot taalmodel met 3 miljard parameters, gebouwd op een transformerarchitectuur en afgestemd op het opvolgen van instructies. Meta bracht het uit op 25 september 2024, en de kennisafsluitdatum is 31 december 2023. Het model valt in de tekstcategorie, dus het is gericht op taalwerk in plaats van beeld, audio of andere modaliteiten.

Aan de invoerkant accepteert het tekst en retourneert het tekst. Het contextvenster is 131,072 tokens, wat groot is voor een model van deze omvang en het mogelijk maakt om lange documenten, transcripties of gespreksgeschiedenissen met meerdere beurten in één verzoek door te geven. De maximale uitvoer is 117,964 tokens, dus antwoorden kunnen ook lang zijn. Meta beschrijft het model als geoptimaliseerd voor natuurlijke-taalverwerkingstaken zoals dialooggeneratie, redeneren en samenvatten, en door de meertalige training kan het prompts in meer dan één taal aan.

Die capaciteiten wijzen op een vrij duidelijke set toepassingen. Samenvatten past natuurlijk: lange rapporten, vergadernotities of artikelconcepten kunnen erin en een kortere versie komt eruit. Dialooggeneratie maakt het geschikt voor chatassistenten, supportbots en conversationele interfaces waar de instructieafstemming antwoorden bij de taak houdt. Redeneertaken, zoals het doorwerken van een probleem dat in de prompt staat of het extraheren van gestructureerde antwoorden uit ongestructureerde tekst, vallen ook binnen het bereik. Omdat het model klein is, is het een redelijke keuze wanneer je lage latentie wilt of veel verzoeken wilt uitvoeren, en de lange context betekent dat je documenten niet agressief hoeft op te delen voordat je ze verzendt.

Je roept het aan via de OpenAI-compatibele API van api14 met het model-id meta-llama/llama-3.2-3b-instruct. Omdat de interface het OpenAI-formaat volgt, werken bestaande clients en SDK's over het algemeen met alleen de basis-URL en het model-id gewijzigd. De requestparameters die het ondersteunt zijn frequency_penalty, logit_bias, logprobs, max_tokens, min_p, presence_penalty, repetition_penalty, seed, stop, structured_outputs, temperature, top_k, top_logprobs en top_p. Dat dekt de gebruikelijke sampling-instellingen (temperature, top_p, top_k, min_p), straffen voor herhaling, deterministische runs via seed, stopsequenties, tokenlimieten en inspectie van logwaarschijnlijkheid via logprobs en top_logprobs. Gestructureerde uitvoer wordt ook ondersteund, wat helpt wanneer je wilt dat het antwoord aan een schema voldoet.

Het belangrijkste om af te wegen is de modelgrootte. Met 3 miljard parameters is het een compact model, dus voor taken die diepgaand redeneren of brede wereldkennis vereisen, kan een groter model beter voor je zijn. Het is ook alleen tekst, dus alles met andere invoertypes valt hier buiten scope. Als je werklast samenvatten, dialoog of matig redeneren is en je waarde hecht aan een lang contextvenster, dan is dit model een praktische keuze.