Nous: Hermes 3 405B Instruct

Nous Hermes 3 405B Instruct adalah model pembuatan teks dari Nous Research, dirilis pada 16 Agustus 2024. Ini adalah model bahasa generalis yang dibangun sebagai peningkatan dari Hermes 2, dengan penyedia menjelaskan peningkatan dalam kemampuan agentic, roleplaying, penalaran, percakapan multi-turn dan koherensi konteks panjang. Id model di api14 adalah nousresearch/hermes-3-llama-3.1-405b.

Model ini menerima input teks dan mengembalikan output teks, sehingga cocok untuk beban kerja bergaya chat dan completion standar. Model ini memiliki context window 131.072 token dan output maksimum 16.384 token, yang berarti Anda dapat mengirim prompt, dokumen atau riwayat percakapan yang sangat panjang dan masih menyisakan ruang untuk balasan yang substansial. Knowledge cutoff-nya adalah 31 Desember 2023, sehingga apa pun setelah tanggal itu berada di luar apa yang dipelajarinya selama pelatihan.

Karena konteksnya yang panjang dan penekanan pada percakapan multi-turn serta perilaku agentic, model ini cocok untuk tugas seperti tanya jawab dokumen panjang, meringkas atau mengekstrak dari input besar, menjaga dialog yang koheren di banyak turn, dan membangun agen yang menggunakan alat atau multi-langkah. Peningkatan roleplaying dan penalaran juga menjadikannya pilihan yang wajar untuk chat yang digerakkan karakter, brainstorming terstruktur dan tugas di mana model harus mengikuti persona atau set instruksi terperinci selama sesi panjang.

Anda memanggilnya melalui API yang kompatibel dengan OpenAI dari api14 menggunakan id model nousresearch/hermes-3-llama-3.1-405b, yang berarti SDK dan klien OpenAI yang ada berfungsi hanya dengan mengubah base URL dan key. Parameter permintaan yang didukungnya adalah frequency_penalty, logit_bias, max_tokens, min_p, presence_penalty, repetition_penalty, response_format, seed, stop, structured_outputs, temperature, top_k dan top_p. Adanya response_format dan structured_outputs berguna ketika Anda membutuhkan output JSON atau berbentuk skema daripada teks bebas, dan seed membantu ketika Anda menginginkan generasi yang lebih dapat direproduksi.

Perhatikan batas output: 16.384 token cukup besar untuk sebagian besar balasan chat tetapi tidak untuk menghasilkan dokumen yang sangat panjang dalam satu panggilan, jadi rencanakan chunking jika Anda membutuhkan lebih banyak. Knowledge cutoff 31 Desember 2023 juga berarti pertanyaan yang sensitif terhadap waktu memerlukan retrieval atau konteks segar yang disediakan dalam prompt. Jika beban kerja Anda murni teks dan sesuai dengan batasan ini, model ini adalah pilihan yang mudah; jika Anda membutuhkan input gambar atau audio, Anda memerlukan model lain, karena model ini hanya menangani teks.