Sao10K: Llama 3.1 Euryale 70B v2.2

Sao10K: Llama 3.1 Euryale 70B v2.2 är en textmodell från Sao10K, en leverantör känd för finjusteringar inriktade på kreativt skrivande och rollspel. Den är byggd på Llama 3.1 70B och är efterföljaren till Euryale L3 70B v2.1. Leverantören beskriver den som fokuserad på kreativt rollspel, så den befinner sig i fältet av öppna viktmodeller finjusterade för narrativ och karaktärsdriven konversation snarare än allmännyttigt assistentarbete.

Modellen tar emot text och returnerar text. Den har ett kontextfönster på 131072 tokens, vilket är tillräckligt stort för att rymma långa konversationer, utökade scener eller omfattande dokument i en enda begäran. Den maximala utdatan är 16384 tokens, så ett enskilt svar kan vara ganska långt, även om det är mindre än indatafönstret. Dess kunskapsgräns är 2023-12-31, vilket spelar roll om din uppgift är beroende av händelser efter det datumet. Parameterar som stöds i begäran inkluderar temperature, top_p, top_k, min_p, repetition_penalty, frequency_penalty, presence_penalty, logit_bias, seed, stop, max_tokens och structured_outputs.

De praktiska användningsområdena följer av den profilen. Kreativt rollspel och karaktärschatt är den tydligaste matchningen, eftersom modellen finjusterades för dem. Långformig fiktion, scenfortsättning och interaktivt berättande passar också det stora kontextfönstret, eftersom du kan behålla mycket tidigare narrativ i prompten utan att trunkera det. Samplingsparametrarna ger dig fin kontroll över ton och upprepning, vilket hjälper när du vill ha en konsekvent karaktärsröst genom en lång session. Strukturerade utdata kan vara användbara när du vill att modellen ska returnera något mer förutsägbart än fri prosa, till exempel en scenesammanfattning eller en uppsättning fält i en rollspelspipeline.

Du anropar den via api14:s OpenAI-kompatibla API med modell-id:t "sao10k/l3.1-euryale-70b". Eftersom gränssnittet är OpenAI-kompatibelt kan du peka en befintlig OpenAI-klient mot api14:s bas-URL och skicka det id:t i modellfältet. Begäran stöder parametrarna som listas ovan, så du kan ange temperature, top_p, top_k, min_p, repetition_penalty, frequency_penalty, presence_penalty, logit_bias, seed, stop, max_tokens och structured_outputs efter behov. En aktuell pristabell på sidan täcker kostnaden.

En begränsning att ha i åtanke är kunskapsgränsen 2023-12-31, så allt som kräver nyare information kommer inte från modellen själv. Utdatataket på 16384 tokens innebär också att mycket långa fortsättningar behöver byggas över flera anrop. Om din uppgift är faktabaserad frågebesvarande, kodgenerering eller verktygsanvändning snarare än kreativt skrivande, kan en allmännyttig modell passa bättre.