ReMM SLERP 13B

ReMM SLERP 13B es un modelo de generación de texto publicado por Undi95 el 22 de julio de 2023. Su proveedor lo describe como un ensayo de recreación del MythoMax-L2-B13 original utilizando modelos actualizados, y se distribuye como un merge, lo que significa que sus pesos se combinaron a partir de otros modelos ajustados en lugar de entrenarse desde cero. Undi95 es un publicador de modelos independiente conocido por los merges de la comunidad, por lo que este es un modelo construido por la comunidad y no un lanzamiento de primera mano de un laboratorio grande.

El modelo funciona con entrada de texto y produce únicamente salida de texto. Tiene una ventana de contexto de 6.144 tokens y una salida máxima de 5.529 tokens, por lo que los prompts largos dejan correspondientemente menos espacio para una respuesta. Su fecha de corte de conocimiento es el 30 de junio de 2023, lo que significa que cualquier cosa posterior a esa fecha queda fuera de lo que aprendió durante el entrenamiento. Dentro de esos límites se comporta como un modelo de chat general de seguimiento de instrucciones, y se puede dirigir con los controles de muestreo habituales.

Como es un modelo de texto de propósito general con una ventana de contexto modesta, encaja en tareas como chat y diálogo, escritura y reescritura de formato corto, resumen de pasajes que caben dentro del contexto, respuesta a preguntas sobre texto proporcionado y trabajo creativo ligero como la escritura de personajes o escenarios. El linaje de merge que se remonta a MythoMax-L2-B13 lo convierte en una elección razonable para prompts conversacionales y de estilo roleplay, donde su ajuste tiende a producir respuestas más expresivas que un modelo base simple. No es una buena opción para documentos muy largos, ya que 6.144 tokens cubren solo unos pocos miles de palabras, y no tiene entrada de imagen, audio ni de otro tipo no textual.

Puedes llamarlo a través de la API compatible con OpenAI de api14 usando el id de modelo "undi95/remm-slerp-l2-13b". Apunta tu cliente de OpenAI existente a la URL base de api14 y envía una solicitud de finalización de chat con ese id, y las formas de solicitud y respuesta siguen siendo las mismas que las de OpenAI. El modelo admite frequency_penalty, logit_bias, logprobs, max_tokens, min_p, presence_penalty, repetition_penalty, response_format, seed, stop, structured_outputs, temperature, top_a, top_k, top_logprobs y top_p. Eso cubre los parámetros de muestreo estándar más algunos extras: min_p, top_a y repetition_penalty para un control más fino del muestreo, seed para ejecuciones reproducibles, y response_format y structured_outputs cuando necesitas la salida en una forma definida.

Vale la pena tener en cuenta dos límites. El contexto de 6.144 tokens y el tope de salida de 5.529 tokens descartan el trabajo con documentos largos o bases de código grandes, y la fecha de corte de conocimiento de junio de 2023 significa que el modelo no sabrá nada más reciente. Si tu tarea necesita una ventana de contexto mucho más grande, conocimiento actual del mundo o entrada no textual, otro modelo en api14 te servirá mejor.