TheDrummer: UnslopNemo 12B

TheDrummer: UnslopNemo 12B é um modelo de texto da TheDrummer, o criador de Rocinante. Foi lançado pelo fornecedor em 2024-11-08, e a descrição do fornecedor apresenta-o como UnslopNemo v4.1, a mais recente adição a essa linha, concebida para escrita de aventuras e cenários de role-play. Situa-se na categoria de texto, pelo que se destina a trabalho de linguagem e não a imagens, áudio ou outras modalidades.

Do lado da entrada, o modelo aceita apenas texto e produz apenas texto. A sua janela de contexto é de 1.024.000 tokens, o que é invulgarmente grande e permite manter manuscritos longos, históricos de conversa extensos ou grandes documentos de referência num único pedido. A saída máxima é de 819.200 tokens, pelo que são possíveis gerações longas dentro dessa janela. O seu limite de conhecimento é 2024-04-30, o que é relevante se a sua tarefa depender de eventos posteriores a essa data. Os parâmetros de pedido suportados incluem frequency_penalty, logit_bias, logprobs, max_tokens, presence_penalty, repetition_penalty, seed, stop, structured_outputs, temperature, top_k, top_logprobs e top_p.

O foco declarado na escrita de aventuras e no role-play sugere onde este modelo se encaixa melhor. A ficção interativa e as aventuras de texto são uma combinação natural, uma vez que o modelo consegue levar um cenário longo para a frente e responder em personagem. O chat de role-play, incluindo personagens persistentes com um historial extenso, beneficia da grande janela de contexto porque pode manter turnos anteriores e notas de ambientação no prompt. A escrita criativa de formato mais longo, como histórias em série ou material de campanha, é outra utilização razoável. Os parâmetros de amostragem dão-lhe controlo sobre o tom e a repetição, o que ajuda quando uma voz de personagem ou de narrador precisa de se manter consistente ao longo de uma sessão longa. Os structured outputs e os logprobs estão disponíveis se quiser respostas legíveis por máquina ou se quiser inspecionar quão confiante o modelo estava em cada passo.

Chama o modelo através da API compatível com OpenAI da api14 usando o id de modelo "thedrummer/unslopnemo-12b". Como a interface segue a forma das chat completions da OpenAI, pode apontar um cliente OpenAI existente para o URL base da api14 e passar esse id no campo model. Os parâmetros de pedido listados acima são suportados, pelo que pode definir temperature, top_p, top_k, repetition_penalty, presence_penalty, frequency_penalty, max_tokens, stop, seed, logit_bias, logprobs, top_logprobs e structured_outputs conforme necessário. O parâmetro seed é útil quando quer amostragem reproduzível durante os testes.

Tenha em conta o limite de conhecimento: tudo o que seja posterior a 2024-04-30 está fora do que o modelo aprendeu, pelo que tarefas que dependam de informação recente podem precisar de outra abordagem. O modelo é apenas de texto, pelo que, se a sua aplicação precisar de lidar com imagens ou áudio, um modelo diferente seria mais adequado. Para geração de texto, role-play e trabalho de escrita com contexto longo, é uma opção simples de experimentar.