TheDrummer: UnslopNemo 12B

TheDrummer: UnslopNemo 12B to model tekstowy od TheDrummer, twórcy Rocinante. Został udostępniony przez dostawcę 2024-11-08, a jego opis od dostawcy przedstawia go jako UnslopNemo v4.1, najnowszy dodatek do tej linii, zaprojektowany do pisania przygodowego i scenariuszy odgrywania ról. Należy do kategorii tekstowych, więc jest ukierunkowany na pracę z językiem, a nie obrazy, dźwięk lub inne modalności.

Po stronie wejścia model przyjmuje wyłącznie tekst i generuje wyłącznie tekst. Jego okno kontekstu wynosi 1 024 000 tokenów, co jest nietypowo duże i pozwala utrzymać długie manuskrypty, rozbudowane historie czatu lub duże dokumenty referencyjne w jednym żądaniu. Maksymalne wyjście to 819 200 tokenów, więc długie generacje są możliwe w tym oknie. Jego data odcięcia wiedzy to 2024-04-30, co ma znaczenie, jeśli twoje zadanie zależy od zdarzeń po tej dacie. Obsługiwane parametry żądania obejmują frequency_penalty, logit_bias, logprobs, max_tokens, presence_penalty, repetition_penalty, seed, stop, structured_outputs, temperature, top_k, top_logprobs i top_p.

Deklarowane skupienie na pisaniu przygodowym i odgrywaniu ról wskazuje, gdzie ten model sprawdza się najlepiej. Fikcja interaktywna i tekstowe przygody to naturalne zastosowanie, ponieważ model może prowadzić długi scenariusz naprzód i odpowiadać wcielając się w postać. Czat z odgrywaniem ról, w tym trwałe postacie z rozbudowanym tłem, korzysta z dużego okna kontekstu, ponieważ możesz utrzymać w prompcie wcześniejsze tury i notatki o scenerii. Dłuższe kreatywne pisanie, takie jak opowiadania seryjne lub materiały kampanii, to kolejne rozsądne zastosowanie. Parametry próbkowania dają kontrolę nad tonem i powtórzeniami, co pomaga, gdy głos postaci lub narratora musi pozostać spójny przez długą sesję. Structured outputs i logprobs są dostępne, jeśli chcesz uzyskać odpowiedzi czytelne maszynowo lub sprawdzić, jak pewny był model na każdym kroku.

Model wywołujesz przez zgodne z OpenAI API api14, używając identyfikatora modelu "thedrummer/unslopnemo-12b". Ponieważ interfejs jest zgodny z kształtem chat completions OpenAI, możesz skierować istniejącego klienta OpenAI na bazowy adres URL api14 i przekazać ten identyfikator w polu model. Wymienione powyżej parametry żądania są obsługiwane, więc możesz ustawić temperature, top_p, top_k, repetition_penalty, presence_penalty, frequency_penalty, max_tokens, stop, seed, logit_bias, logprobs, top_logprobs i structured_outputs w razie potrzeby. Parametr seed jest przydatny, gdy chcesz uzyskać powtarzalne próbkowanie podczas testowania.

Miej na uwadze datę odcięcia wiedzy: wszystko po 2024-04-30 wykracza poza to, czego model się nauczył, więc zadania zależne od niedawnych informacji mogą wymagać innego podejścia. Model obsługuje wyłącznie tekst, więc jeśli twoja aplikacja musi obsługiwać obrazy lub dźwięk, lepszym wyborem będzie inny model. Do generowania tekstu, odgrywania ról i pracy z długim kontekstem jest to prosta opcja do wypróbowania.