Nous: Hermes 3 70B Instruct

Nous: Hermes 3 70B Instruct adalah model generasi teks dari Nous Research, dibangun di atas basis Llama 3.1 70B. Ini adalah generasi ketiga dari lini Hermes, dan Nous mendeskripsikannya sebagai model bahasa generalis dengan peningkatan dibandingkan Hermes 2, termasuk kemampuan agentic yang canggih, roleplaying yang lebih baik, penalaran, percakapan multi-turn, dan koherensi konteks panjang. Model ini dirilis oleh penyedia pada 18 Agustus 2024, dan knowledge cutoff-nya adalah 31 Desember 2023.

Model ini menerima input teks dan mengembalikan output teks, sehingga merupakan model bahasa murni tanpa penanganan gambar atau audio. Context window-nya adalah 131.072 token, yang cukup besar untuk menampung dokumen panjang, percakapan yang diperpanjang, atau file kode berukuran besar dalam satu permintaan. Output maksimumnya adalah 16.384 token, sehingga respons bisa panjang, tetapi dibatasi jauh di bawah ukuran konteks input. Karena konteksnya panjang dan model disetel untuk koherensi di seluruh konteks tersebut, model ini dapat digunakan untuk tugas di mana bagian awal percakapan atau dokumen perlu tetap relevan banyak turn kemudian.

Kemampuan tersebut mengarah pada beberapa penggunaan praktis. Alur kerja agentic adalah kekuatan yang dinyatakan, sehingga tool calling dan orkestrasi tugas multi langkah cocok untuk model ini. Peningkatan roleplaying dan percakapan multi-turn cocok untuk asisten chat, aplikasi berbasis karakter, dan pengalaman interaktif yang membutuhkan persona dan memori yang konsisten selama sesi panjang. Penalaran dan koherensi konteks panjang membuatnya dapat digunakan untuk tanya jawab dokumen, peringkasan materi yang panjang, dan bantuan kode di mana seluruh file atau bagian repositori harus dipertimbangkan sekaligus. Structured outputs juga didukung, yang membantu ketika model harus mengembalikan data dalam bentuk tetap untuk parsing hilir.

Anda memanggil model ini melalui API yang kompatibel dengan OpenAI dari api14 menggunakan model id "nousresearch/hermes-3-llama-3.1-70b". Karena endpoint mengikuti format chat completions OpenAI, SDK dan klien OpenAI yang ada dapat bekerja hanya dengan perubahan base URL dan key. Parameter permintaan yang didukung adalah frequency_penalty, logit_bias, max_tokens, min_p, presence_penalty, repetition_penalty, seed, stop, structured_outputs, temperature, top_k, dan top_p. Parameter seed memungkinkan sampling yang dapat direproduksi, dan structured_outputs membatasi generasi ke skema yang ditentukan. Perhatikan bahwa min_p, repetition_penalty, dan top_k bukan bagian dari set parameter OpenAI standar, jadi pastikan klien Anda meneruskannya alih-alih membuang field yang tidak dikenal.

Batasan utama yang perlu diingat adalah input dan output hanya teks, batas output 16.384 token, dan knowledge cutoff 31 Desember 2023, sehingga apa pun setelah tanggal itu berada di luar data pelatihan model. Jika tugas Anda bergantung pada input gambar atau audio, model ini tidak akan cocok, dan Anda akan memerlukan model multimodal sebagai gantinya. Untuk pekerjaan yang sesuai dengan teks serta batas konteks dan output yang dinyatakan, Hermes 3 70B Instruct adalah pilihan yang lugas melalui gateway api14.