AionLabs: Aion 3.5

Aion 3.5 es un modelo de texto de AionLabs, listado en api14 bajo el id de modelo aion-labs/aion-3.5. AionLabs lo describe como un sistema multimodelo de rol e narración construido sobre la familia de modelos GLM. En lugar de un único generador monolítico, utiliza un proceso de generación colaborativa en el que múltiples modelos especializados contribuyen cada uno a la salida. Esa decisión de diseño determina aquello en lo que el modelo es bueno, y conviene tenerlo en cuenta cuando decidas dónde colocarlo en un pipeline.

En el lado de la entrada, Aion 3.5 acepta solo texto y devuelve solo texto, por lo que no es adecuado para trabajo de audio, imagen o vídeo. Su ventana de contexto es de 262.144 tokens, lo suficientemente grande como para contener conversaciones largas, arcos narrativos extensos o documentos de referencia considerables en una sola petición. La salida máxima es de 32.768 tokens, por lo que las respuestas pueden ser largas cuando lo necesites. El modelo admite salida de razonamiento, y puedes controlar ese comportamiento mediante los parámetros include_reasoning, reasoning y reasoning_effort.

Esas capacidades apuntan a un conjunto de usos bastante específico. El rol y la narración interactiva son los obvios, ya que el modelo fue construido para ellos y el contexto largo permite que una sesión arrastre muchos turnos previos sin recortes. Esas mismas propiedades lo hacen adecuado para chat basado en personajes, redacción de ficción de formato largo y herramientas de escritura colaborativa en las que un usuario y el modelo construyen una historia juntos. El límite de salida de 32.768 tokens ayuda cuando quieres una escena completa o una sección de capítulo en una sola respuesta en lugar de unir muchas completaciones cortas. La salida estructurada mediante response_format y el llamamiento a funciones mediante tools y tool_choice también lo hacen utilizable en aplicaciones que necesitan que el modelo devuelva datos con una forma definida o llame a tu propio código.

Lo llamas a través de la API compatible con OpenAI de api14 usando el id de modelo aion-labs/aion-3.5, por lo que los SDK y clientes de OpenAI existentes funcionan con un cambio de URL base y nombre de modelo. Los parámetros de petición admitidos son include_reasoning, max_tokens, reasoning, reasoning_effort, response_format, temperature, tool_choice, tools y top_p. Usa temperature y top_p para el control de muestreo, max_tokens para limitar la longitud de la respuesta, y los parámetros de razonamiento cuando quieras ver o dirigir el razonamiento del modelo. El par tools y tool_choice cubre el llamamiento a funciones, y response_format cubre las salidas estructuradas.

Dado que el modelo es texto de entrada y texto de salida, las tareas que dependen de otras modalidades necesitan un modelo diferente. Lo mismo se aplica si quieres un asistente de propósito general en lugar de uno ajustado para el rol y la narración, aunque el soporte de herramientas y salida estructurada significa que aún puede servir como el paso de generación dentro de una aplicación mayor.