Nous: Hermes 3 405B Instruct

Nous Hermes 3 405B Instruct to model generowania tekstu od Nous Research, wydany 16 sierpnia 2024. Jest to model językowy ogólnego przeznaczenia zbudowany jako ulepszenie w stosunku do Hermes 2, a dostawca opisuje poprawę w zakresie zdolności agentowych, odgrywania ról, rozumowania, rozmów wieloetapowych i spójności długiego kontekstu. Identyfikator modelu w api14 to nousresearch/hermes-3-llama-3.1-405b.

Model przyjmuje dane wejściowe w formie tekstu i zwraca dane wyjściowe w formie tekstu, więc pasuje do standardowych zadań typu chat i completion. Ma okno kontekstu wynoszące 131 072 tokeny i maksymalne wyjście 16 384 tokeny, co oznacza, że możesz wysyłać bardzo długie prompty, dokumenty lub historie rozmów i nadal pozostawić miejsce na obszerną odpowiedź. Jego data odcięcia wiedzy to 31 grudnia 2023, więc wszystko po tej dacie wykracza poza to, czego nauczył się podczas treningu.

Ze względu na długi kontekst oraz nacisk na rozmowy wieloetapowe i zachowania agentowe model nadaje się do zadań takich jak odpowiadanie na pytania dotyczące długich dokumentów, streszczanie lub wyodrębnianie z dużych danych wejściowych, utrzymywanie spójnego dialogu przez wiele tur oraz budowanie agentów korzystających z narzędzi lub wieloetapowych. Ulepszenia w zakresie odgrywania ról i rozumowania sprawiają również, że jest to rozsądny wybór do czatu opartego na postaciach, ustrukturyzowanego burzy mózgów oraz zadań, w których model musi podążać za personą lub szczegółowym zestawem instrukcji przez długą sesję.

Wywołujesz go przez API zgodne z OpenAI w api14, używając identyfikatora modelu nousresearch/hermes-3-llama-3.1-405b, co oznacza, że istniejące zestawy SDK i klienty OpenAI działają po zmianie tylko bazowego adresu URL i klucza. Obsługiwane parametry żądania to frequency_penalty, logit_bias, max_tokens, min_p, presence_penalty, repetition_penalty, response_format, seed, stop, structured_outputs, temperature, top_k i top_p. Obecność response_format i structured_outputs jest przydatna, gdy potrzebujesz danych wyjściowych w formacie JSON lub zgodnych ze schematem, a nie dowolnego tekstu, a seed pomaga, gdy chcesz uzyskać bardziej powtarzalne generacje.

Pamiętaj o górnym limicie wyjścia: 16 384 tokeny to dużo jak na większość odpowiedzi w czacie, ale nie na generowanie bardzo długich dokumentów w jednym wywołaniu, więc zaplanuj dzielenie na fragmenty, jeśli potrzebujesz więcej. Data odcięcia wiedzy 31 grudnia 2023 oznacza również, że pytania wrażliwe na czas wymagają dostarczenia danych z wyszukiwania lub świeżego kontekstu w prompcie. Jeśli Twoje zadanie jest wyłącznie tekstowe i mieści się w tych granicach, ten model jest prostą opcją; jeśli potrzebujesz danych wejściowych w formie obrazu lub dźwięku, potrzebny byłby inny model, ponieważ ten obsługuje tylko tekst.