Sao10K: Llama 3.1 Euryale 70B v2.2

Sao10K: Llama 3.1 Euryale 70B v2.2 es un modelo de texto de Sao10K, un proveedor conocido por ajustes finos orientados a la escritura creativa y el roleplay. Está construido sobre Llama 3.1 70B y es el sucesor de Euryale L3 70B v2.1. El proveedor lo describe como enfocado en el roleplay creativo, por lo que se sitúa en el espacio de los modelos de pesos abiertos ajustados para la conversación narrativa y basada en personajes, en lugar del trabajo de asistente de propósito general.

El modelo recibe texto y devuelve texto. Tiene una ventana de contexto de 131072 tokens, lo suficientemente grande como para contener conversaciones largas, escenas extendidas o documentos considerables en una sola solicitud. La salida máxima es de 16384 tokens, por lo que una sola respuesta puede ser bastante larga, aunque es menor que la ventana de entrada. Su fecha de corte de conocimiento es 2023-12-31, lo cual importa si tu tarea depende de eventos posteriores a esa fecha. Los parámetros de solicitud admitidos incluyen temperature, top_p, top_k, min_p, repetition_penalty, frequency_penalty, presence_penalty, logit_bias, seed, stop, max_tokens y structured_outputs.

Los usos prácticos se derivan de ese perfil. El roleplay creativo y el chat de personajes son el encaje más claro, ya que el modelo fue ajustado para ellos. La ficción de formato largo, la continuación de escenas y la narración interactiva también se adaptan a la gran ventana de contexto, porque puedes mantener una gran cantidad de narrativa previa en el prompt sin truncarla. Los parámetros de muestreo te dan un control fino sobre el tono y la repetición, lo que ayuda cuando quieres una voz de personaje consistente a lo largo de una sesión larga. Las salidas estructuradas pueden ser útiles cuando quieres que el modelo devuelva algo más predecible que prosa libre, por ejemplo un resumen de escena o un conjunto de campos dentro de un flujo de roleplay.

Lo llamas a través de la API compatible con OpenAI de api14 usando el id de modelo "sao10k/l3.1-euryale-70b". Como la interfaz es compatible con OpenAI, puedes apuntar un cliente de OpenAI existente a la URL base de api14 y pasar ese id en el campo model. La solicitud admite los parámetros enumerados arriba, por lo que puedes establecer temperature, top_p, top_k, min_p, repetition_penalty, frequency_penalty, presence_penalty, logit_bias, seed, stop, max_tokens y structured_outputs según sea necesario. Una tabla de precios en vivo en la página cubre el costo.

Un límite a tener en cuenta es la fecha de corte de conocimiento del 2023-12-31, por lo que cualquier cosa que requiera información más reciente no provendrá del propio modelo. El tope de salida de 16384 tokens también significa que las continuaciones muy largas deben construirse a lo largo de múltiples llamadas. Si tu tarea es respuesta a preguntas factuales, generación de código o uso de herramientas en lugar de escritura creativa, un modelo de propósito general puede encajar mejor.