Sao10K: Llama 3.1 Euryale 70B v2.2

Sao10K: Llama 3.1 Euryale 70B v2.2 è un modello testuale di Sao10K, un provider noto per fine-tune orientati alla scrittura creativa e al roleplay. È basato su Llama 3.1 70B ed è il successore di Euryale L3 70B v2.1. Il provider lo descrive come focalizzato sul roleplay creativo, quindi si colloca nello spazio dei modelli open-weight di stile, ottimizzati per la narrazione e la conversazione guidata dai personaggi, piuttosto che per il lavoro di assistente generico.

Il modello riceve testo e restituisce testo. Ha una finestra di contesto di 131072 token, abbastanza ampia da contenere lunghe conversazioni, scene estese o documenti di dimensioni considerevoli in una singola richiesta. L'output massimo è di 16384 token, quindi una singola risposta può essere piuttosto lunga, anche se inferiore alla finestra di input. Il suo knowledge cutoff è 2023-12-31, il che conta se il tuo compito dipende da eventi successivi a quella data. I parametri di richiesta supportati includono temperature, top_p, top_k, min_p, repetition_penalty, frequency_penalty, presence_penalty, logit_bias, seed, stop, max_tokens e structured_outputs.

Gli usi pratici derivano da questo profilo. Il roleplay creativo e la chat con i personaggi sono l'impiego più chiaro, dato che il modello è stato ottimizzato per questi scopi. Anche la narrativa lunga, la continuazione di scene e la narrazione interattiva si adattano bene alla grande finestra di contesto, perché puoi mantenere molto materiale narrativo precedente nel prompt senza troncarlo. I parametri di campionamento offrono un controllo preciso su tono e ripetizione, il che aiuta quando vuoi una voce del personaggio coerente lungo una sessione prolungata. Gli output strutturati possono essere utili quando vuoi che il modello restituisca qualcosa di più prevedibile della prosa libera, per esempio un riassunto di scena o un insieme di campi all'interno di una pipeline di roleplay.

Lo richiami tramite l'API compatibile con OpenAI di api14 usando il model id "sao10k/l3.1-euryale-70b". Poiché l'interfaccia è compatibile con OpenAI, puoi puntare un client OpenAI esistente alla base URL di api14 e passare quell'id nel campo model. La richiesta supporta i parametri elencati sopra, quindi puoi impostare temperature, top_p, top_k, min_p, repetition_penalty, frequency_penalty, presence_penalty, logit_bias, seed, stop, max_tokens e structured_outputs secondo necessità. Una tabella dei prezzi aggiornata sulla pagina copre il costo.

Un limite da tenere presente è il knowledge cutoff del 2023-12-31, quindi qualsiasi cosa richieda informazioni più recenti non proverrà dal modello stesso. Il tetto di output di 16384 token significa anche che continuazioni molto lunghe devono essere costruite su più chiamate. Se il tuo compito è risposta a domande fattuali, generazione di codice o uso di strumenti anziché scrittura creativa, un modello generico potrebbe essere più adatto.