Meta: Llama 3.1 70B Instruct

Meta: Llama 3.1 70B Instruct är en textgenereringsmodell från Meta, en del av Llama 3.1-familjen som lanserades den 23 juli 2024. Det är versionen med 70 miljarder parametrar, finjusterad för instruktionsföljning, vilket innebär att den är utformad för att svara på uppmaningar och föra dialog snarare än att bara fortsätta rå text. Meta positionerar denna instruktionsvariant som optimerad för dialoganvändning av hög kvalitet, och den ligger i mitten av Llama 3.1-serien storleksmässigt.

Modellen tar text som indata och returnerar text som utdata, så det är en ren språkmodell utan hantering av bild, ljud eller video. Dess kontextfönster är 131 072 tokens, vilket är tillräckligt stort för att rymma långa dokument, utökade konversationer eller stora kodfiler i en enda begäran. Den maximala utdatalängden är 16 384 tokens, så svaren kan vara omfattande men är begränsade långt under indatagränsen. Dess kunskapsgräns är den 31 december 2023, vilket innebär att allt efter det datumet ligger utanför vad den lärde sig under träningen.

Dessa egenskaper pekar mot en ganska tydlig uppsättning praktiska användningsområden. Den långa kontexten passar för sammanfattning och frågebesvarande över långa dokument, granskning av avtal, forskningssyntes och fleromgångschatt där tidigare delar av konversationen behöver finnas kvar i sikte. Instruktionsfinjusteringen gör den till en rimlig matchning för assistenter, utkast, omskrivning, klassificering och extraheringsuppgifter. Eftersom modellen stöder verktygsanrop och strukturerade utdata kan den också användas i pipelines där modellen behöver returnera data i en definierad form eller anropa externa funktioner i stället för att bara producera fritext.

Du anropar den via api14:s OpenAI-kompatibla API med modell-id:t meta-llama/llama-3.1-70b-instruct. Eftersom gränssnittet följer OpenAI-schemat kan du peka en befintlig OpenAI-klient mot api14:s bas-URL och skicka det id:t i fältet model. De begärandeparametrar den stöder är frequency_penalty, logit_bias, max_tokens, min_p, presence_penalty, repetition_penalty, response_format, seed, stop, structured_outputs, temperature, tool_choice, tools, top_k och top_p. Det täcker de vanliga samplingskontrollerna, deterministiska utdata via seed, stoppsekvenser samt både verktygsanrop och strukturerade utdatalägen.

Några begränsningar är värda att ha i åtanke när du bestämmer dig. Utdatat är begränsat till 16 384 tokens även om kontextfönstret är mycket större, så uppgifter som kräver mycket långa enskilda svar kan behöva delas upp eller en annan modell. Kunskapsgränsen den 31 december 2023 innebär att aktuella händelser inte täcks om du inte tillhandahåller dem i uppmaningen. Och eftersom indata och utdata endast är text faller allt som involverar bilder eller ljud utanför vad denna modell kan göra.