Nous: Hermes 3 70B Instruct

Nous: Hermes 3 70B Instruct to model generowania tekstu od Nous Research, zbudowany na bazie Llama 3.1 70B. Jest to trzecia generacja linii Hermes, a Nous opisuje go jako generalistyczny model językowy z ulepszeniami w stosunku do Hermes 2, w tym zaawansowanymi zdolnościami agentowymi, lepszym odgrywaniem ról, rozumowaniem, rozmową wieloetapową i spójnością długiego kontekstu. Model został wydany przez dostawcę 18 sierpnia 2024, a jego data odcięcia wiedzy to 31 grudnia 2023.

Model przyjmuje dane wejściowe w formie tekstu i zwraca dane wyjściowe w formie tekstu, więc jest to czysty model językowy bez obsługi obrazu ani dźwięku. Jego okno kontekstu wynosi 131 072 tokeny, co jest wystarczająco duże, aby pomieścić długie dokumenty, rozszerzone rozmowy lub spore pliki kodu w jednym żądaniu. Maksymalna długość danych wyjściowych to 16 384 tokeny, więc odpowiedzi mogą być długie, ale są ograniczone znacznie poniżej rozmiaru kontekstu wejściowego. Ponieważ kontekst jest długi, a model jest dostrojony pod kątem spójności w jego obrębie, można go używać do zadań, w których wcześniejsze części rozmowy lub dokumentu muszą pozostać istotne wiele tur później.

Te możliwości wskazują na kilka praktycznych zastosowań. Przepływy pracy agentowej są deklarowaną mocną stroną, więc wywoływanie narzędzi i wieloetapowa orkiestracja zadań są rozsądnym dopasowaniem. Ulepszenia w odgrywaniu ról i rozmowie wieloetapowej pasują do asystentów czatowych, aplikacji opartych na postaciach i interaktywnych doświadczeń, które wymagają spójnej persony i pamięci przez długą sesję. Rozumowanie i spójność długiego kontekstu czynią go użytecznym do odpowiadania na pytania dotyczące dokumentów, streszczania długich materiałów i pomocy w kodzie, gdzie cały plik lub sekcja repozytorium musi być rozważona naraz. Obsługiwane są również ustrukturyzowane dane wyjściowe, co pomaga, gdy model musi zwrócić dane w ustalonym kształcie do dalszego przetwarzania.

Model wywołujesz przez API zgodne z OpenAI w api14, używając identyfikatora modelu "nousresearch/hermes-3-llama-3.1-70b". Ponieważ punkt końcowy jest zgodny z formatem uzupełnień czatu OpenAI, istniejące zestawy SDK i klienty OpenAI działają po zmianie tylko bazowego adresu URL i klucza. Obsługiwane parametry żądania to frequency_penalty, logit_bias, max_tokens, min_p, presence_penalty, repetition_penalty, seed, stop, structured_outputs, temperature, top_k i top_p. Parametr seed pozwala na powtarzalne próbkowanie, a structured_outputs ogranicza generowanie do zdefiniowanego schematu. Należy pamiętać, że min_p, repetition_penalty i top_k nie są częścią standardowego zestawu parametrów OpenAI, więc sprawdź, czy Twój klient przekazuje je dalej, zamiast odrzucać nieznane pola.

Główne ograniczenia do zapamiętania to wejście i wyjście wyłącznie tekstowe, limit wyjścia 16 384 tokenów oraz data odcięcia wiedzy 31 grudnia 2023, więc wszystko po tej dacie znajduje się poza danymi treningowymi modelu. Jeśli Twoje zadanie zależy od danych wejściowych w formie obrazu lub dźwięku, ten model nie będzie odpowiedni i potrzebowałbyś zamiast tego modelu multimodalnego. W przypadku pracy, która mieści się w tekście oraz podanych limitach kontekstu i wyjścia, Hermes 3 70B Instruct jest prostym wyborem przez bramę api14.