Meta: Llama 3.2 3B Instruct

Meta: Llama 3.2 3B Instruct är en textmodell från Meta, identifierad på api14 som meta-llama/llama-3.2-3b-instruct. Det är en flerspråkig stor språkmodell med 3 miljarder parametrar, byggd på en transformerarkitektur och finjusterad för att följa instruktioner. Meta släppte den den 25 september 2024, och dess kunskapsgräns är den 31 december 2023. Modellen tillhör textkategorin, så den är avsedd för språkarbete snarare än bild, ljud eller andra modaliteter.

På indatasidan tar den emot text och returnerar text. Kontextfönstret är 131 072 tokens, vilket är stort för en modell av denna storlek och låter dig skicka långa dokument, transkriptioner eller historik över flera turer i en enda begäran. Maximal utdata är 117 964 tokens, så svaren kan också bli långa. Meta beskriver modellen som optimerad för naturligt språkbehandlingsuppgifter som dialoggenerering, resonemang och sammanfattning, och dess flerspråkiga träning innebär att den kan hantera prompter på mer än ett språk.

Dessa förmågor pekar mot en ganska tydlig uppsättning användningsområden. Sammanfattning passar naturligt: långa rapporter, mötesanteckningar eller artikelutkast kan gå in och en kortare version kommer ut. Dialoggenerering gör den lämplig för chattassistenter, supportbotar och konversationsgränssnitt där instruktionsfinjusteringen håller svaren på uppgiften. Resonemangsuppgifter, som att arbeta igenom ett problem som anges i prompten eller extrahera strukturerade svar från ostrukturerad text, ingår också. Eftersom modellen är liten är den ett rimligt val när du vill ha låg latens eller vill köra många begäranden, och den långa kontexten innebär att du inte behöver dela upp dokument aggressivt innan du skickar dem.

Du anropar den via api14:s OpenAI-kompatibla API med modell-id:t meta-llama/llama-3.2-3b-instruct. Eftersom gränssnittet följer OpenAI-formatet fungerar befintliga klienter och SDK:er i allmänhet med bara bas-URL:en och modell-id:t ändrade. De begäransparametrar den stöder är frequency_penalty, logit_bias, logprobs, max_tokens, min_p, presence_penalty, repetition_penalty, seed, stop, structured_outputs, temperature, top_k, top_logprobs och top_p. Det täcker de vanliga samplingskontrollerna (temperature, top_p, top_k, min_p), straff för upprepning, deterministiska körningar via seed, stoppsekvenser, tokenbegränsningar och inspektion av loggsannolikheter via logprobs och top_logprobs. Strukturerade utdata stöds också, vilket hjälper när du behöver att svaret följer ett schema.

Det viktigaste att väga in är modellens storlek. Med 3 miljarder parametrar är den en kompakt modell, så för uppgifter som kräver djupa resonemang eller bred världskunskap kan en större modell passa dig bättre. Den är också endast för text, så allt som involverar andra indatatyper faller utanför ramen här. Om din arbetsbelastning är sammanfattning, dialog eller måttliga resonemang och du värdesätter ett långt kontextfönster är denna modell en praktisk lösning.