We gebruiken cookies. Cookies en browseropslag houden je ingelogd en onthouden je voorkeuren. Met je toestemming meten we ook hoe de site wordt gebruikt. Je kunt je wanneer je wilt. Zie ons cookiebeleid.
Meta: Llama 3.1 70B Instruct
meta-llama/llama-3.1-70b-instructProbeer Meta: Llama 3.1 70B Instruct nu
Draait op je saldo tegen de prijzen hierboven. Nieuwe accounts beginnen met gratis gebruik.
Eén API. Elk model.
Sessiekosten US$ 0,00
Instellingen
Geavanceerde parameters
Meta: Llama 3.1 70B Instruct in het kort
- De invoerprijs is 11% lager dan de mediaan van 434 Tekst-modellen.
- Contextvenster van 131.072 tokens, genoeg voor lange documenten en gesprekken met veel beurten.
- Ondersteunt tool calling (function calling) voor agents en integraties.
- Ondersteunt gestructureerde JSON-output met een schema.
- Een gangbaar verzoek (1,000 invoer- / 500 uitvoertokens) kost ongeveer US$ 0,00210.
Over Meta: Llama 3.1 70B Instruct
Meta: Llama 3.1 70B Instruct is een tekstgeneratiemodel van Meta, onderdeel van de Llama 3.1-familie die op 23 juli 2024 werd gelanceerd. Het is de versie met 70 miljard parameters, afgestemd op het volgen van instructies, wat betekent dat het is ontworpen om te reageren op prompts en dialogen te voeren in plaats van alleen ruwe tekst te vervolgen. Meta positioneert deze instruct-variant als geoptimaliseerd voor dialooggebruik van hoge kwaliteit, en qua grootte zit het in het midden van het Llama 3.1-assortiment.
Het model accepteert tekst als invoer en retourneert tekst als uitvoer, dus het is een puur taalmodel zonder beeld-, audio- of videoverwerking. Het contextvenster is 131.072 tokens, groot genoeg om lange documenten, uitgebreide gesprekken of omvangrijke codebestanden in één verzoek te bevatten. De maximale uitvoerlengte is 16.384 tokens, dus antwoorden kunnen substantieel zijn, maar zijn ruim onder de invoerlimiet begrensd. De kennisafsluitdatum is 31 december 2023, wat betekent dat alles na die datum buiten wat het tijdens training heeft geleerd valt.
Die kenmerken wijzen op een tamelijk duidelijke set praktische toepassingen. De lange context is geschikt voor samenvatting en vraagbeantwoording over lange documenten, contractbeoordeling, onderzoekssynthese en meerbeurtsgesprekken waarbij eerdere delen van het gesprek in beeld moeten blijven. Instructieafstemming maakt het redelijk geschikt voor assistenten, opstellen, herschrijven, classificatie en extractietaken. Omdat het model tool calling en gestructureerde uitvoer ondersteunt, kan het ook worden gebruikt in pipelines waarin het model gegevens in een gedefinieerde vorm moet retourneren of externe functies moet aanroepen in plaats van alleen vrije tekst te produceren.
Je roept het aan via de OpenAI-compatibele API van api14 met het model-id meta-llama/llama-3.1-70b-instruct. Omdat de interface het OpenAI-schema volgt, kun je een bestaande OpenAI-client op de base URL van api14 richten en dat id in het model-veld doorgeven. De verzoekparameters die het ondersteunt zijn frequency_penalty, logit_bias, max_tokens, min_p, presence_penalty, repetition_penalty, response_format, seed, stop, structured_outputs, temperature, tool_choice, tools, top_k en top_p. Dat dekt de gebruikelijke sampling-besturingen, deterministische uitvoer via seed, stopsequenties, en zowel tool calling- als gestructureerde-uitvoermodi.
Een paar beperkingen zijn het onthouden waard bij het beslissen. De uitvoer is beperkt tot 16.384 tokens, ook al is het contextvenster veel groter, dus taken die zeer lange afzonderlijke antwoorden nodig hebben, kunnen opsplitsing of een ander model vereisen. De kennisafsluitdatum van 31 december 2023 betekent dat recente gebeurtenissen niet worden gedekt, tenzij je ze in de prompt aanlevert. En aangezien invoer en uitvoer alleen tekst zijn, valt alles met betrekking tot afbeeldingen of audio buiten wat dit model kan doen.
Zo roep je de Meta: Llama 3.1 70B Instruct API aan
- Maak een API-key aan in je dashboard.
- Installeer de officiële openai SDK voor je taal.
- Stel baseURL in op https://api14.com/api/v1 en model op "meta-llama/llama-3.1-70b-instruct".
import OpenAI from "openai";
const client = new OpenAI({
baseURL: "https://api14.com/api/v1",
apiKey: process.env.API14_API_KEY,
});
const result = await client.chat.completions.create({
"model": "meta-llama/llama-3.1-70b-instruct",
"messages": [
{
"role": "user",
"content": "Explain vector databases in two sentences."
}
]
});
console.log(result.choices[0].message.content);
Ondersteunde parameters
frequency_penaltylogit_biasmax_tokensmin_ppresence_penaltyrepetition_penaltyresponse_formatseedstopstructured_outputstemperaturetool_choicetoolstop_ktop_pSpecificaties
- Contextlengte
- 131.072
- Max. uitvoer
- 16.384
- Invoer
- text
- Uitvoer
- text
- Kennisgrens
- 2023-12-31
Verzoeken op api14 · afgelopen 7 dagen
Meta: Llama 3.1 70B Instruct: veelgestelde vragen
- Wat kost de Meta: Llama 3.1 70B Instruct API?
- Meta: Llama 3.1 70B Instruct kost Invoer US$ 1,40 / 1M tokens. Er wordt alleen voor geslaagde verzoeken van je USD-saldo afgeschreven; mislukte verzoeken zijn gratis.
- Hoe groot is het contextvenster van Meta: Llama 3.1 70B Instruct?
- Meta: Llama 3.1 70B Instruct leest tot 131.072 tokens per verzoek, prompt, geschiedenis en documenten samen. Het schrijft tot 16.384 outputtokens per antwoord.
- Wat kan Meta: Llama 3.1 70B Instruct?
- Meta: Llama 3.1 70B Instruct accepteert text en geeft text terug. Het ondersteunt tool calling, gestructureerde JSON-output.
- Hoe roep ik Meta: Llama 3.1 70B Instruct aan vanuit mijn code?
- Richt een willekeurige OpenAI SDK op https://api14.com/api/v1 en zet het model op "meta-llama/llama-3.1-70b-instruct", verder geen codewijzigingen. Kopieer een kant-en-klaar voorbeeld uit het codepaneel op deze pagina.
- Wat zijn alternatieven voor Meta: Llama 3.1 70B Instruct?
- Vergelijkbare modellen in Tekst met een vergelijkbare prijs: TheDrummer: Cydonia 24B V4.1, Mistral: Saba, TheDrummer: UnslopNemo 12B. Ze werken allemaal met dezelfde API-key, dus overstappen is één string aanpassen.
Community over Meta: Llama 3.1 70B Instruct
Nieuw topicDeze community heeft nog geen topics. Open het eerste topic over Meta: Llama 3.1 70B Instruct.