ReMM SLERP 13B

ReMM SLERP 13B to model generowania tekstu wydany przez Undi95 22 lipca 2023 roku. Jest opisywany przez swojego dostawcę jako próba odtworzenia oryginalnego MythoMax-L2-B13 przy użyciu zaktualizowanych modeli, i jest dystrybuowany jako merge, co oznacza, że jego wagi zostały połączone z innych dostrojonych modeli, a nie wytrenowane od podstaw. Undi95 to niezależny wydawca modeli znany z merge'ów społecznościowych, więc jest to model zbudowany przez społeczność, a nie wydanie pierwszej strony od dużego laboratorium.

Model działa na wejściu tekstowym i produkuje wyłącznie wyjście tekstowe. Ma okno kontekstu wynoszące 6 144 tokeny i maksymalne wyjście 5 529 tokenów, więc długie prompty pozostawiają odpowiednio mniej miejsca na odpowiedź. Jego data odcięcia wiedzy to 30 czerwca 2023 roku, co oznacza, że wszystko po tej dacie jest poza tym, czego nauczył się podczas treningu. W tych granicach zachowuje się jak ogólny model czatu podążający za instrukcjami i można nim sterować za pomocą zwykłych ustawień próbkowania.

Ponieważ jest to ogólny model tekstowy o skromnym oknie kontekstu, pasuje do zadań takich jak czat i dialog, krótkie pisanie i przepisywanie, streszczanie fragmentów mieszczących się w kontekście, odpowiadanie na pytania na podstawie dostarczonego tekstu oraz lekkiej pracy twórczej, takiej jak pisanie postaci lub scenariuszy. Pochodzenie merge'u wywodzące się od MythoMax-L2-B13 czyni go rozsądnym wyborem do promptów konwersacyjnych i w stylu odgrywania ról, gdzie jego dostrojenie zwykle daje bardziej ekspresyjne odpowiedzi niż zwykły model bazowy. Nie nadaje się do bardzo długich dokumentów, ponieważ 6 144 tokeny obejmują tylko kilka tysięcy słów, i nie ma wejścia obrazowego, audio ani innego nietekstowego.

Możesz go wywołać przez API zgodne z OpenAI w api14, używając identyfikatora modelu "undi95/remm-slerp-l2-13b". Skieruj swojego istniejącego klienta OpenAI na bazowy URL api14 i wyślij żądanie ukończenia czatu z tym identyfikatorem, a kształty żądania i odpowiedzi pozostaną takie same jak w OpenAI. Model obsługuje frequency_penalty, logit_bias, logprobs, max_tokens, min_p, presence_penalty, repetition_penalty, response_format, seed, stop, structured_outputs, temperature, top_a, top_k, top_logprobs i top_p. Obejmuje to standardowe parametry próbkowania plus kilka dodatków: min_p, top_a i repetition_penalty dla dokładniejszej kontroli nad próbkowaniem, seed dla powtarzalnych uruchomień oraz response_format i structured_outputs, gdy potrzebujesz wyjścia w określonym kształcie.

Warto pamiętać o dwóch ograniczeniach. Kontekst 6 144 tokenów i limit wyjścia 5 529 tokenów wykluczają pracę z długimi dokumentami lub dużymi bazami kodu, a data odcięcia wiedzy czerwiec 2023 oznacza, że model nie będzie wiedział o niczym nowszym. Jeśli Twoje zadanie wymaga znacznie większego okna kontekstu, aktualnej wiedzy o świecie lub wejścia nietekstowego, lepiej posłuży Ci inny model w api14.