ReMM SLERP 13B

ReMM SLERP 13B ist ein Textgenerierungsmodell, das von Undi95 am 22. Juli 2023 veröffentlicht wurde. Es wird von seinem Anbieter als Nachbauversuch des ursprünglichen MythoMax-L2-B13 unter Verwendung aktualisierter Modelle beschrieben und wird als Merge vertrieben, was bedeutet, dass seine Gewichte aus anderen feinabgestimmten Modellen kombiniert wurden und nicht von Grund auf trainiert wurden. Undi95 ist ein unabhängiger Modellherausgeber, der für Community-Merges bekannt ist, sodass es sich um ein von der Community erstelltes Modell handelt und nicht um eine Erstveröffentlichung eines großen Labors.

Das Modell arbeitet mit Texteingabe und erzeugt ausschließlich Textausgabe. Es hat ein Kontextfenster von 6.144 Tokens und eine maximale Ausgabe von 5.529 Tokens, sodass lange Prompts entsprechend weniger Raum für eine Antwort lassen. Sein Wissensstand endet am 30. Juni 2023, was bedeutet, dass alles nach diesem Datum außerhalb dessen liegt, was es während des Trainings gelernt hat. Innerhalb dieser Grenzen verhält es sich wie ein allgemeines instruktionsfolgendes Chat-Modell und kann mit den üblichen Sampling-Steuerungen gelenkt werden.

Da es ein allgemeines Textmodell mit einem bescheidenen Kontextfenster ist, eignet es sich für Aufgaben wie Chat und Dialog, Kurzform-Schreiben und Umschreiben, Zusammenfassung von Passagen, die in den Kontext passen, Beantwortung von Fragen zu bereitgestelltem Text und leichte kreative Arbeit wie Figuren- oder Szenenschreiben. Die Merge-Abstammung, die auf MythoMax-L2-B13 zurückgeht, macht es zu einer vernünftigen Wahl für konversationelle und rollenspielartige Prompts, bei denen seine Abstimmung tends dazu neigt, ausdrucksstärkere Antworten zu erzeugen als ein reines Basismodell. Es ist nicht gut geeignet für sehr lange Dokumente, da 6.144 Tokens nur einige tausend Wörter abdecken, und es hat keine Bild-, Audio- oder sonstige nicht-textuelle Eingabe.

Sie können es über die OpenAI-kompatible API von api14 mit der Modell-ID "undi95/remm-slerp-l2-13b" aufrufen. Richten Sie Ihren vorhandenen OpenAI-Client auf die Basis-URL von api14 und senden Sie eine Chat-Completion-Anfrage mit dieser ID, und die Formen von Anfrage und Antwort bleiben dieselben wie bei OpenAI. Das Modell unterstützt frequency_penalty, logit_bias, logprobs, max_tokens, min_p, presence_penalty, repetition_penalty, response_format, seed, stop, structured_outputs, temperature, top_a, top_k, top_logprobs und top_p. Das deckt die Standard-Sampling-Parameter plus einige Extras ab: min_p, top_a und repetition_penalty für feinere Kontrolle über das Sampling, seed für reproduzierbare Läufe und response_format sowie structured_outputs, wenn Sie die Ausgabe in einer definierten Form benötigen.

Zwei Grenzen sollten Sie im Hinterkopf behalten. Der Kontext von 6.144 Tokens und die Ausgabeobergrenze von 5.529 Tokens schließen Arbeit mit langen Dokumenten oder großen Codebasen aus, und der Wissensstand von Juni 2023 bedeutet, dass das Modell nichts Neueres kennt. Wenn Ihre Aufgabe ein viel größeres Kontextfenster, aktuelles Weltwissen oder nicht-textuelle Eingabe erfordert, wird ein anderes Modell auf api14 Ihnen besser dienen.