Meta: Llama 3.3 70B Instruct

Meta: Llama 3.3 70B Instruct is een tekstgeneratiemodel van Meta, uitgebracht op 6 december 2024. Het behoort tot de Llama 3.3-familie, een meertalig groot taalmodel dat Meta zowel vooraf heeft getraind als instructie heeft afgestemd op 70B parameters. De instructie-afgestemde variant is alleen tekst, wat betekent dat het is ontworpen voor promptgestuurde taken in plaats van multimodale invoer.

Het model neemt tekst in en geeft tekst uit, met een contextvenster van 131.072 tokens en een maximale uitvoer van 16.384 tokens. De kennisafsluitdatum is 31 december 2023, dus alles na die datum valt buiten wat het tijdens de training heeft geleerd. Omdat het instructie-afgestemd is, volgt het aanwijzingen in een prompt redelijk direct, wat het geschikt maakt voor taken waarbij je beschrijft wat je wilt in plaats van voorbeelden aan te leveren.

Die mogelijkheden wijzen op een vrij breed scala aan praktische toepassingen. Lang-contextwerk zoals het samenvatten van of queryen in lange documenten past bij het venster van 131.072 tokens, en het uitvoerplafond van 16.384 tokens ondersteunt antwoorden die veel verder gaan dan een kort antwoord. Meertalige generatie en chatstijl-assistenten zijn natuurlijke toepassingen gezien de meertalige training van het model. Instructieopvolging maakt het ook een redelijke keuze voor extractie, herschrijven, classificatie en vergelijkbare transformatietaken waarbij de invoer tekst is en de uitvoer tekst is.

Je roept het aan via de OpenAI-compatibele API van api14 met het model-id "meta-llama/llama-3.3-70b-instruct". Het eindpunt accepteert de gebruikelijke chatstijl-aanvraagvorm, en het model ondersteunt een brede set parameters: frequency_penalty, logit_bias, logprobs, max_tokens, min_p, presence_penalty, repetition_penalty, response_format, seed, stop, structured_outputs, temperature, tool_choice, tools, top_k, top_logprobs en top_p. Tool calling en structured outputs zijn beide beschikbaar, dus function calling en schema-beperkte antwoorden zijn opties in plaats van workarounds.

Twee beperkingen zijn het onthouden waard wanneer je dit model kiest. Het accepteert alleen tekst, dus afbeeldingen, audio of andere niet-tekstuele invoer vallen buiten bereik, en de kennis stopt aan het einde van 2023, wat van belang is voor vragen over recente gebeurtenissen tenzij je de context zelf aanlevert. Als je taak van die dingen afhangt, zou een model met de relevante invoermodaliteit of een recentere afsluitdatum beter passen.