Sao10K: Llama 3.1 Euryale 70B v2.2

Sao10K: Llama 3.1 Euryale 70B v2.2 adalah model teks dari Sao10K, penyedia yang dikenal karena fine-tune yang ditujukan untuk penulisan kreatif dan roleplay. Model ini dibangun di atas Llama 3.1 70B dan merupakan penerus Euryale L3 70B v2.1. Penyedia mendeskripsikannya sebagai model yang berfokus pada roleplay kreatif, sehingga model ini berada di ruang model bergaya open-weight yang disetel untuk percakapan naratif dan berbasis karakter, bukan untuk pekerjaan asisten serbaguna.

Model ini menerima teks sebagai input dan mengembalikan teks sebagai output. Model ini memiliki context window 131072 token, yang cukup besar untuk menampung percakapan panjang, adegan yang diperluas, atau dokumen berukuran besar dalam satu permintaan. Output maksimumnya adalah 16384 token, sehingga satu respons bisa cukup panjang, meskipun lebih kecil daripada window input. Knowledge cutoff-nya adalah 2023-12-31, yang penting jika tugas Anda bergantung pada peristiwa setelah tanggal tersebut. Parameter permintaan yang didukung meliputi temperature, top_p, top_k, min_p, repetition_penalty, frequency_penalty, presence_penalty, logit_bias, seed, stop, max_tokens dan structured_outputs.

Kegunaan praktisnya mengikuti profil tersebut. Roleplay kreatif dan obrolan karakter adalah kecocokan yang paling jelas, karena model ini disetel untuk itu. Fiksi panjang, kelanjutan adegan dan penceritaan interaktif juga cocok dengan context window yang besar, karena Anda dapat menyimpan banyak narasi sebelumnya di dalam prompt tanpa memotongnya. Parameter sampling memberi Anda kendali halus atas nada dan pengulangan, yang membantu ketika Anda menginginkan suara karakter yang konsisten sepanjang sesi panjang. Structured outputs dapat berguna ketika Anda ingin model mengembalikan sesuatu yang lebih dapat diprediksi daripada prosa bebas, misalnya ringkasan adegan atau sekumpulan field di dalam pipeline roleplay.

Anda memanggilnya melalui API yang kompatibel dengan OpenAI dari api14 menggunakan model id "sao10k/l3.1-euryale-70b". Karena antarmukanya kompatibel dengan OpenAI, Anda dapat mengarahkan klien OpenAI yang sudah ada ke base URL api14 dan meneruskan id tersebut di field model. Permintaan mendukung parameter yang tercantum di atas, sehingga Anda dapat mengatur temperature, top_p, top_k, min_p, repetition_penalty, frequency_penalty, presence_penalty, logit_bias, seed, stop, max_tokens dan structured_outputs sesuai kebutuhan. Tabel harga langsung di halaman tersebut mencakup biaya.

Satu batasan yang perlu diingat adalah knowledge cutoff 2023-12-31, sehingga apa pun yang memerlukan informasi lebih baru tidak akan berasal dari model itu sendiri. Batas output 16384 token juga berarti kelanjutan yang sangat panjang perlu dibangun melalui beberapa panggilan. Jika tugas Anda adalah menjawab pertanyaan faktual, pembuatan kode atau penggunaan tool daripada penulisan kreatif, model serbaguna mungkin lebih cocok.