Meta: Llama 3.3 70B Instruct

Meta: Llama 3.3 70B Instruct är en textgenereringsmodell från Meta, släppt den 6 december 2024. Den tillhör familjen Llama 3.3, en flerspråkig stor språkmodell som Meta både har förtränat och instruktionstränat med 70B parametrar. Den instruktionstränade varianten är endast text, vilket innebär att den är utformad för promptdrivna uppgifter snarare än multimodala indata.

Modellen tar in text och returnerar text ut, med ett kontextfönster på 131 072 tokens och en maximal utdata på 16 384 tokens. Dess kunskapsgräns är den 31 december 2023, så allt efter det datumet ligger utanför vad den lärde sig under träningen. Eftersom den är instruktionstränad följer den instruktioner i en prompt ganska direkt, vilket gör den lämplig för uppgifter där du beskriver vad du vill ha i stället för att ge exempel.

Dessa förmågor pekar mot en ganska bred uppsättning praktiska användningsområden. Arbete med lång kontext, som att sammanfatta eller ställa frågor till långa dokument, passar inom fönstret på 131 072 tokens, och taket på 16 384 tokens för utdata stödjer svar som sträcker sig långt bortom ett kort svar. Flerspråkig generering och chattliknande assistenter passar naturligt med tanke på modellens flerspråkiga träning. Instruktionsföljning gör den också till ett rimligt val för extrahering, omskrivning, klassificering och liknande transformeringsuppgifter där indata är text och utdata är text.

Du anropar den via api14:s OpenAI-kompatibla API med modell-id:t "meta-llama/llama-3.3-70b-instruct". Ändpunkten accepterar den vanliga chattliknande förfrågningsformen, och modellen stödjer en bred uppsättning parametrar: frequency_penalty, logit_bias, logprobs, max_tokens, min_p, presence_penalty, repetition_penalty, response_format, seed, stop, structured_outputs, temperature, tool_choice, tools, top_k, top_logprobs och top_p. Verktygsanrop och strukturerade utdata är båda tillgängliga, så funktionsanrop och schemabegränsade svar är alternativ snarare än nödlösningar.

Två begränsningar är värda att ha i åtanke när du väljer den här modellen. Den accepterar endast text, så bild-, ljud- eller andra icke-textindata ligger utanför ramen, och dess kunskap upphör vid slutet av 2023, vilket spelar roll för frågor om aktuella händelser om du inte själv tillhandahåller kontexten. Om din uppgift är beroende av dessa saker skulle en modell med relevant indatamodalitet eller en mer aktuell kunskapsgräns passa bättre.