TheDrummer: UnslopNemo 12B

TheDrummer: UnslopNemo 12B è un modello di testo di TheDrummer, il creatore di Rocinante. È stato rilasciato dal provider l'8 novembre 2024, e la sua descrizione del provider lo presenta come UnslopNemo v4.1, l'ultima aggiunta a quella linea, progettata per la scrittura di avventure e scenari di role-play. Si colloca nella categoria testo, quindi è rivolto al lavoro sul linguaggio piuttosto che a immagini, audio o altre modalità.

Sul lato input il modello accetta solo testo e produce solo testo. La sua finestra di contesto è di 1.024.000 token, un valore insolitamente ampio che consente di mantenere lunghi manoscritti, cronologie di chat estese o grandi documenti di riferimento in un'unica richiesta. L'output massimo è di 819.200 token, quindi generazioni lunghe sono possibili all'interno di quella finestra. Il suo knowledge cutoff è il 30 aprile 2024, il che conta se il tuo compito dipende da eventi successivi a quella data. I parametri di richiesta supportati includono frequency_penalty, logit_bias, logprobs, max_tokens, presence_penalty, repetition_penalty, seed, stop, structured_outputs, temperature, top_k, top_logprobs e top_p.

L'attenzione dichiarata per la scrittura di avventure e il role-play suggerisce dove questo modello si adatta meglio. La narrativa interattiva e le avventure testuali sono un abbinamento naturale, poiché il modello può portare avanti un lungo scenario e rispondere in character. La chat di role-play, inclusi personaggi persistenti con un ampio background, beneficia della grande finestra di contesto perché puoi mantenere i turni precedenti e le note di ambientazione nel prompt. La scrittura creativa di più ampio respiro, come storie serializzate o materiale per campagne, è un altro uso ragionevole. I parametri di campionamento ti danno controllo su tono e ripetizione, il che aiuta quando la voce di un personaggio o di un narratore deve rimanere coerente lungo una sessione prolungata. Gli structured outputs e i logprobs sono disponibili se desideri risposte leggibili dalla macchina o vuoi ispezionare quanto il modello fosse sicuro a ogni passaggio.

Chiami il modello tramite l'API compatibile con OpenAI di api14 usando l'id del modello "thedrummer/unslopnemo-12b". Poiché l'interfaccia segue la forma delle chat completions di OpenAI, puoi indirizzare un client OpenAI esistente al base URL di api14 e passare quell'id nel campo model. I parametri di richiesta elencati sopra sono supportati, quindi puoi impostare temperature, top_p, top_k, repetition_penalty, presence_penalty, frequency_penalty, max_tokens, stop, seed, logit_bias, logprobs, top_logprobs e structured_outputs secondo necessità. Il parametro seed è utile quando vuoi un campionamento riproducibile durante i test.

Tieni presente il knowledge cutoff: qualsiasi cosa successiva al 30 aprile 2024 è al di fuori di ciò che il modello ha appreso, quindi i compiti che dipendono da informazioni recenti potrebbero richiedere un altro approccio. Il modello è solo testo, quindi se la tua applicazione deve gestire immagini o audio, un modello diverso sarebbe più adatto. Per la generazione di testo, il role-play e il lavoro di scrittura con contesto lungo, è un'opzione semplice da provare.