TheDrummer: UnslopNemo 12B

TheDrummer: UnslopNemo 12B is een tekstmodel van TheDrummer, de maker van Rocinante. Het werd door de provider uitgebracht op 2024-11-08, en de providerbeschrijving positioneert het als UnslopNemo v4.1, de nieuwste toevoeging aan die lijn, ontworpen voor avontuurlijk schrijven en role-play-scenario's. Het valt in de tekstcategorie, dus het is gericht op taalwerk in plaats van afbeeldingen, audio of andere modaliteiten.

Aan de invoerkant accepteert het model alleen tekst, en het produceert alleen tekst. Het contextvenster is 1.024.000 tokens, wat ongewoon groot is en je in staat stelt lange manuscripten, uitgebreide chatgeschiedenissen of grote referentiedocumenten in één verzoek te bewaren. De maximale uitvoer is 819.200 tokens, dus lange generaties zijn mogelijk binnen dat venster. De kennisafsluitdatum is 2024-04-30, wat van belang is als je taak afhangt van gebeurtenissen na die datum. Ondersteunde verzoekparameters zijn frequency_penalty, logit_bias, logprobs, max_tokens, presence_penalty, repetition_penalty, seed, stop, structured_outputs, temperature, top_k, top_logprobs en top_p.

De aangegeven focus op avontuurlijk schrijven en role-play suggereert waar dit model het beste past. Interactieve fictie en tekstavonturen zijn een natuurlijke match, omdat het model een lang scenario kan voortzetten en in karakter kan reageren. Role-play-chat, inclusief persistente personages met een uitgebreide achtergrondverhaal, profiteert van het grote contextvenster omdat je eerdere beurten en instellingsnotities in de prompt kunt bewaren. Langere vorm creatief schrijven, zoals vervolgverhalen of campagnemateriaal, is een ander redelijk gebruik. De samplingparameters geven je controle over toon en herhaling, wat helpt wanneer een personage- of vertellersstem consistent moet blijven gedurende een lange sessie. Structured outputs en logprobs zijn beschikbaar als je machineleesbare antwoorden wilt of wilt inspecteren hoe zeker het model bij elke stap was.

Je roept het model aan via de OpenAI-compatibele API van api14 met het model-id "thedrummer/unslopnemo-12b". Omdat de interface de vorm van OpenAI chat completions volgt, kun je een bestaande OpenAI-client op de api14 base URL richten en dat id in het modelveld doorgeven. De hierboven genoemde verzoekparameters worden ondersteund, dus je kunt temperature, top_p, top_k, repetition_penalty, presence_penalty, frequency_penalty, max_tokens, stop, seed, logit_bias, logprobs, top_logprobs en structured_outputs naar behoefte instellen. De seed-parameter is nuttig wanneer je reproduceerbare sampling tijdens het testen wilt.

Houd de kennisafsluitdatum in gedachten: alles na 2024-04-30 valt buiten wat het model heeft geleerd, dus taken die afhangen van recente informatie kunnen een andere aanpak nodig hebben. Het model is alleen tekst, dus als je applicatie afbeeldingen of audio moet verwerken, zou een ander model beter passen. Voor tekstgeneratie, role-play en lang-context-schrijfwerk is het een eenvoudige optie om te proberen.