ReMM SLERP 13B

ReMM SLERP 13B är en textgenereringsmodell som släpptes av Undi95 den 22 juli 2023. Den beskrivs av sin leverantör som ett återskapandeförsök av den ursprungliga MythoMax-L2-B13 med uppdaterade modeller, och den distribueras som en merge, vilket innebär att dess vikter kombinerades från andra finjusterade modeller snarare än tränades från grunden. Undi95 är en oberoende modellutgivare känd för community-merges, så detta är en community-byggd modell snarare än en förstapartsutgåva från ett stort labb.

Modellen arbetar med textinmatning och producerar endast textutmatning. Den har ett kontextfönster på 6 144 tokens och en maximal utmatning på 5 529 tokens, så långa prompter lämnar motsvarande mindre utrymme för ett svar. Dess kunskapsavgränsning är den 30 juni 2023, vilket innebär att allt efter det datumet ligger utanför vad den lärde sig under träningen. Inom dessa gränser beter den sig som en allmän instruktionsföljande chattmodell, och den kan styras med de vanliga samplingskontrollerna.

Eftersom det är en allmän textmodell med ett måttligt kontextfönster passar den för uppgifter som chatt och dialog, kortformsskrivande och omskrivning, sammanfattning av stycken som ryms inom kontexten, frågebesvarande över medföljande text, och lätt kreativt arbete som karaktärs- eller scenarioförfattande. Merge-ursprunget som spårar tillbaka till MythoMax-L2-B13 gör den till ett rimligt val för konversations- och rollspelsliknande prompter, där dess finjustering tenderar att producera mer uttrycksfulla svar än en vanlig basmodell. Den är inte ett bra val för mycket långa dokument, eftersom 6 144 tokens endast täcker några tusen ord, och den har ingen bild-, ljud- eller annan icke-textinmatning.

Du kan anropa den via api14:s OpenAI-kompatibla API med modell-id:t "undi95/remm-slerp-l2-13b". Rikta din befintliga OpenAI-klient mot api14:s bas-URL och skicka en chat completion-begäran med det id:t, och begärans- och svarsformaten förblir desamma som OpenAI:s. Modellen stöder frequency_penalty, logit_bias, logprobs, max_tokens, min_p, presence_penalty, repetition_penalty, response_format, seed, stop, structured_outputs, temperature, top_a, top_k, top_logprobs och top_p. Det täcker de vanliga samplingsparametrarna plus några extra: min_p, top_a och repetition_penalty för finare kontroll över sampling, seed för reproducerbara körningar, och response_format och structured_outputs när du behöver utmatningen i en definierad form.

Två begränsningar är värda att ha i åtanke. Kontexten på 6 144 tokens och utmatningstaket på 5 529 tokens utesluter arbete med långa dokument eller stora kodbaser, och kunskapsavgränsningen i juni 2023 innebär att modellen inte kommer att känna till något nyare. Om din uppgift behöver ett mycket större kontextfönster, aktuell omvärldskunskap eller icke-textinmatning, kommer en annan modell på api14 att tjäna dig bättre.