Magnum v4 72B

Magnum v4 72B es un modelo de generación de texto de Anthracite Org, publicado el 22 de octubre de 2024. Forma parte de una serie creada para replicar la calidad de prosa de los modelos Claude 3, concretamente Sonnet y Opus. El modelo está ajustado sobre Qwen2.5 72B, una base de 72 mil millones de parámetros, por lo que hereda esa base mientras se ajusta para un estilo de escritura concreto.

El modelo acepta entrada de texto y devuelve salida de texto, lo que lo sitúa en la categoría de texto en api14. Tiene una ventana de contexto de 32768 tokens, por lo que los prompts y el historial de conversación juntos pueden alcanzar esa longitud. La salida máxima por solicitud es de 4096 tokens, y el corte de conocimiento es el 30 de junio de 2024. Cualquier cosa que ocurriera después de esa fecha queda fuera de lo que el modelo aprendió durante el entrenamiento.

Las capacidades determinan los casos de uso. Dado que el modelo se ajustó para la calidad de prosa en lugar del uso de herramientas o la multimodalidad, encaja en trabajos con mucho texto: redactar y reescribir contenido de formato largo, ajustar el tono y el registro, editar para una voz concreta, roleplay y diálogo basado en personajes, y resumir documentos largos que quepan dentro de la ventana de contexto. El contexto de 32768 tokens permite pasar material de origen sustancial, y el límite de salida de 4096 tokens se adapta a capítulos, artículos y respuestas de varios párrafos en lugar de generaciones únicas muy largas.

Se llama a través de la API compatible con OpenAI de api14 usando el id de modelo "anthracite-org/magnum-v4-72b". La API admite un amplio conjunto de parámetros de solicitud: frequency_penalty, logit_bias, logprobs, max_tokens, min_p, presence_penalty, repetition_penalty, response_format, seed, stop, structured_outputs, temperature, top_a, top_k, top_logprobs y top_p. Las salidas estructuradas y response_format están disponibles cuando necesitas que la respuesta siga un esquema en lugar de prosa libre, y seed ayuda cuando quieres un resultado reproducible. Los controles de muestreo permiten ajustar la creatividad y la repetición según la tarea.

Ten en cuenta los límites al elegir. La ventana de contexto es de 32768 tokens, por lo que bases de código muy grandes, entradas de la longitud de un libro entero o historiales de agente largos no cabrán, y la salida máxima de 4096 tokens descarta generaciones únicas más allá de esa longitud. El corte de conocimiento del 30 de junio de 2024 significa que los eventos recientes o la documentación actual no son conocidos por el modelo. Si necesitas entrada de imágenes, audio o un contexto mucho mayor, otro modelo en api14 encajaría mejor.