Sao10K: Llama 3 8B Lunaris

Sao10K: Llama 3 8B Lunaris adalah model teks dari Sao10K, penyedia yang dikenal karena fine-tune dan merge komunitas. Model ini dibangun di atas Llama 3 dan, seperti yang dijelaskan penyedianya, merupakan merge strategis dari beberapa model yang dimaksudkan untuk menyeimbangkan kreativitas dengan logika yang lebih baik dan pengetahuan umum. Penyedia memposisikannya sebagai model generalis dan roleplaying yang serbaguna, jadi posisinya berada di antara model yang lugas mengikuti instruksi dan model yang disetel untuk percakapan kreatif yang digerakkan oleh karakter.

Model ini menerima teks dan mengeluarkan teks. Jendela konteksnya adalah 8192 token, dan output maksimumnya adalah 7372 token, sehingga generasi panjang dapat dilakukan dalam satu permintaan selama prompt dan completion bersama-sama tetap berada di dalam batas konteks. Batas pengetahuan (knowledge cutoff) nya adalah 2023-12-31, yang berarti apa pun setelah tanggal itu berada di luar apa yang dipelajari model selama pelatihan. Tidak ada modalitas gambar, audio, atau input lain di sini; semuanya teks biasa.

Karakteristik tersebut mengarah pada serangkaian penggunaan yang cukup spesifik. Roleplay dan obrolan yang digerakkan oleh karakter adalah kecocokan yang jelas, mengingat deskripsi penyedia sendiri dan penekanan model pada kreativitas. Sifat yang sama cocok untuk penulisan kreatif, brainstorming, dan pembuatan dialog di mana variasi lebih penting daripada ketepatan faktual yang ketat. Karena juga dijelaskan sebagai generalis dengan logika yang lebih baik dan pengetahuan umum, model ini dapat menangani tugas gaya asisten sehari-hari, peringkasan, penulisan ulang, dan menjawab pertanyaan dalam batas pengetahuannya. Pengembang yang membangun produk chat, fiksi interaktif, atau alat penyusunan konten dapat menggunakannya sebagai mesin generasi, sambil mengingat bahwa model 8B tidak akan menyamai model yang lebih besar pada penalaran sulit atau instruksi panjang yang kompleks.

Anda memanggilnya melalui API yang kompatibel dengan OpenAI dari api14 menggunakan model id "sao10k/l3-lunaris-8b". Karena antarmukanya mengikuti bentuk chat completions OpenAI, SDK dan klien OpenAI yang ada dapat bekerja dengan mengubah base URL dan model id. Model ini mendukung banyak parameter permintaan: frequency_penalty, logit_bias, logprobs, max_tokens, min_p, presence_penalty, repetition_penalty, response_format, seed, stop, structured_outputs, temperature, top_k, top_logprobs dan top_p. Campuran itu mencakup kontrol sampling gaya OpenAI standar dan tambahan seperti min_p, top_k dan repetition_penalty yang umum pada fine-tune komunitas, plus structured_outputs dan response_format untuk membatasi bentuk balasan. Parameter seed membantu reproduktifitas, dan logprobs dengan top_logprobs memberikan visibilitas ke probabilitas tingkat token.

Batasan utamanya mengikuti fakta-fakta di atas. Jendela konteks 8192 token tergolong moderat, jadi dokumen yang sangat panjang, basis kode yang besar, atau riwayat multi turn yang panjang akan memerlukan pemotongan atau peringkasan. Batas pengetahuan 2023-12-31 berarti peristiwa terkini tidak tercakup. Dan sebagai model 8B, ini pilihan yang wajar ketika Anda menginginkan teks kreatif dan berkarakter dalam skala kecil, tetapi untuk tugas yang menuntut penalaran mendalam, konteks sangat panjang, atau pengetahuan umum yang paling luas, model yang lebih besar kemungkinan menjadi pilihan yang lebih baik.