ReMM SLERP 13B

ReMM SLERP 13B is een tekstgeneratiemodel dat op 22 juli 2023 door Undi95 is uitgebracht. Het wordt door zijn provider beschreven als een herscheppingspoging van het originele MythoMax-L2-B13 met bijgewerkte modellen, en het wordt gedistribueerd als een merge, wat betekent dat de gewichten zijn samengevoegd uit andere fijn-afgestelde modellen in plaats van vanaf nul te zijn getraind. Undi95 is een onafhankelijke modeluitgever die bekend staat om community-merges, dus dit is een door de community gebouwd model en geen first-party release van een groot lab.

Het model werkt met tekstinvoer en produceert alleen tekstuitvoer. Het heeft een contextvenster van 6.144 tokens en een maximale uitvoer van 5.529 tokens, dus lange prompts laten overeenkomstig minder ruimte voor een antwoord. De kennisafsluitdatum is 30 juni 2023, wat betekent dat alles na die datum buiten wat het tijdens training heeft geleerd valt. Binnen die grenzen gedraagt het zich als een algemeen instructievolgend chatmodel, en het kan worden bijgestuurd met de gebruikelijke sampling-instellingen.

Omdat het een algemeen tekstmodel is met een bescheiden contextvenster, past het bij taken zoals chat en dialoog, korteschrijf- en herschrijftaken, samenvatting van passages die binnen de context passen, vraagbeantwoording over aangeleverde tekst, en licht creatief werk zoals personage- of scenarioteksten. De merge-afstamming die teruggaat tot MythoMax-L2-B13 maakt het een redelijke keuze voor conversationele en roleplay-achtige prompts, waar de afstelling doorgaans expressievere antwoorden oplevert dan een gewoon basismodel. Het is geen goede keuze voor zeer lange documenten, aangezien 6.144 tokens slechts een paar duizend woorden beslaat, en het heeft geen beeld-, audio- of andere niet-tekstuele invoer.

Je kunt het aanroepen via de OpenAI-compatibele API van api14 met het model-id "undi95/remm-slerp-l2-13b". Richt je bestaande OpenAI-client op de api14 base URL en stuur een chat completion-verzoek met dat id, en de vormen van verzoek en antwoord blijven hetzelfde als die van OpenAI. Het model ondersteunt frequency_penalty, logit_bias, logprobs, max_tokens, min_p, presence_penalty, repetition_penalty, response_format, seed, stop, structured_outputs, temperature, top_a, top_k, top_logprobs en top_p. Dat dekt de standaard sampling-parameters plus een paar extra's: min_p, top_a en repetition_penalty voor fijnere controle over sampling, seed voor reproduceerbare runs, en response_format en structured_outputs wanneer je de uitvoer in een gedefinieerde vorm nodig hebt.

Twee beperkingen zijn het onthouden waard. De context van 6.144 tokens en de uitvoerlimiet van 5.529 tokens sluiten werk met lange documenten of grote codebases uit, en de kennisafsluitdatum van juni 2023 betekent dat het model niets recenters zal weten. Als je taak een veel groter contextvenster, actuele wereldkennis of niet-tekstuele invoer vereist, zal een ander model op api14 je beter van dienst zijn.