Sao10K: Llama 3.1 Euryale 70B v2.2

Sao10K: Llama 3.1 Euryale 70B v2.2 is een tekstmodel van Sao10K, een provider die bekend staat om fine-tunes gericht op creatief schrijven en roleplay. Het is gebouwd op Llama 3.1 70B en is de opvolger van Euryale L3 70B v2.1. De provider beschrijft het als gericht op creatieve roleplay, dus het bevindt zich in de ruimte van open-weight stijlmodellen die zijn afgestemd op narratieve en personagegedreven gesprekken in plaats van algemeen assistentwerk.

Het model neemt tekst in en geeft tekst uit. Het heeft een contextvenster van 131072 tokens, wat groot genoeg is om lange gesprekken, uitgebreide scènes of omvangrijke documenten in één verzoek te bevatten. De maximale uitvoer is 16384 tokens, dus één antwoord kan behoorlijk lang zijn, hoewel het kleiner is dan het invoervenster. De kennisafsluitdatum is 2023-12-31, wat van belang is als je taak afhangt van gebeurtenissen na die datum. Ondersteunde verzoekparameters zijn temperature, top_p, top_k, min_p, repetition_penalty, frequency_penalty, presence_penalty, logit_bias, seed, stop, max_tokens en structured_outputs.

De praktische toepassingen volgen uit dat profiel. Creatieve roleplay en personagechat zijn de duidelijkste match, omdat het model daarvoor is afgestemd. Langere fictie, scènevervolging en interactief verhalen vertellen passen ook bij het grote contextvenster, omdat je veel eerdere narratieve tekst in de prompt kunt houden zonder deze af te kappen. De samplingparameters geven je fijne controle over toon en herhaling, wat helpt wanneer je een consistente personagestem gedurende een lange sessie wilt. Structured outputs kunnen nuttig zijn wanneer je wilt dat het model iets voorspelbaarders retourneert dan vrije prose, bijvoorbeeld een scènesamenvatting of een set velden binnen een roleplay-pipeline.

Je roept het aan via de OpenAI-compatibele API van api14 met het model-id "sao10k/l3.1-euryale-70b". Omdat de interface OpenAI-compatibel is, kun je een bestaande OpenAI-client op de base URL van api14 richten en dat id in het modelveld doorgeven. Het verzoek ondersteunt de hierboven genoemde parameters, dus je kunt temperature, top_p, top_k, min_p, repetition_penalty, frequency_penalty, presence_penalty, logit_bias, seed, stop, max_tokens en structured_outputs naar behoefte instellen. Een live prijstabel op de pagina dekt de kosten.

Een beperking om in gedachten te houden is de kennisafsluitdatum van 2023-12-31, dus alles wat nieuwere informatie vereist, zal niet uit het model zelf komen. De uitvoerlimiet van 16384 tokens betekent ook dat zeer lange vervolgen over meerdere aanroepen moeten worden opgebouwd. Als je taak feitelijke vraagbeantwoording, codegeneratie of toolgebruik is in plaats van creatief schrijven, past een algemeen model mogelijk beter.