TheDrummer: UnslopNemo 12B

TheDrummer: UnslopNemo 12B es un modelo de texto de TheDrummer, el creador de Rocinante. Fue lanzado por el proveedor el 2024-11-08, y su descripción del proveedor lo presenta como UnslopNemo v4.1, la última incorporación a esa línea, diseñada para escritura de aventuras y escenarios de role-play. Se sitúa en la categoría de texto, por lo que está orientado al trabajo con lenguaje en lugar de imágenes, audio u otras modalidades.

En el lado de la entrada, el modelo acepta solo texto, y produce solo texto. Su ventana de contexto es de 1.024.000 tokens, lo cual es inusualmente grande y te permite mantener manuscritos largos, historiales de chat extensos o documentos de referencia grandes en una sola solicitud. La salida máxima es de 819.200 tokens, por lo que son posibles generaciones largas dentro de esa ventana. Su fecha de corte de conocimiento es 2024-04-30, lo cual importa si tu tarea depende de eventos posteriores a esa fecha. Los parámetros de solicitud admitidos incluyen frequency_penalty, logit_bias, logprobs, max_tokens, presence_penalty, repetition_penalty, seed, stop, structured_outputs, temperature, top_k, top_logprobs y top_p.

El enfoque declarado en escritura de aventuras y role-play sugiere dónde encaja mejor este modelo. La ficción interactiva y las aventuras de texto son una combinación natural, ya que el modelo puede llevar adelante un escenario largo y responder en personaje. El chat de role-play, incluidos personajes persistentes con una historia de fondo extensa, se beneficia de la gran ventana de contexto porque puedes mantener turnos previos y notas de ambientación en el prompt. La escritura creativa de formato más largo, como historias serializadas o material de campaña, es otro uso razonable. Los parámetros de muestreo te dan control sobre el tono y la repetición, lo que ayuda cuando la voz de un personaje o narrador necesita mantenerse consistente a lo largo de una sesión larga. structured_outputs y logprobs están disponibles si quieres respuestas legibles por máquina o quieres inspeccionar cuán confiado estaba el modelo en cada paso.

Llamas al modelo a través de la API compatible con OpenAI de api14 usando el id de modelo "thedrummer/unslopnemo-12b". Como la interfaz sigue la forma de chat completions de OpenAI, puedes apuntar un cliente de OpenAI existente a la URL base de api14 y pasar ese id en el campo model. Los parámetros de solicitud enumerados arriba son compatibles, por lo que puedes establecer temperature, top_p, top_k, repetition_penalty, presence_penalty, frequency_penalty, max_tokens, stop, seed, logit_bias, logprobs, top_logprobs y structured_outputs según sea necesario. El parámetro seed es útil cuando quieres un muestreo reproducible durante las pruebas.

Ten en cuenta la fecha de corte de conocimiento: cualquier cosa posterior al 2024-04-30 está fuera de lo que el modelo aprendió, por lo que las tareas que dependen de información reciente pueden necesitar otro enfoque. El modelo es solo texto, así que si tu aplicación necesita manejar imágenes o audio, un modelo diferente sería una mejor opción. Para generación de texto, role-play y trabajos de escritura con contexto largo, es una opción sencilla para probar.