Magnum v4 72B

Magnum v4 72B é um modelo de geração de texto da Anthracite Org, lançado em 22 de outubro de 2024. Faz parte de uma série criada para replicar a qualidade de prosa dos modelos Claude 3, especificamente Sonnet e Opus. O modelo é ajustado fino sobre o Qwen2.5 72B, uma base de 72 bilhões de parâmetros, portanto herda essa fundação enquanto é ajustado para um estilo particular de escrita.

O modelo aceita entrada de texto e retorna saída de texto, o que o coloca na categoria de texto na api14. Tem uma janela de contexto de 32768 tokens, então prompts e histórico de conversa juntos podem atingir esse comprimento. A saída máxima por requisição é de 4096 tokens, e o corte de conhecimento é 30 de junho de 2024. Qualquer coisa que aconteceu depois dessa data está fora do que o modelo aprendeu durante o treinamento.

As capacidades moldam os casos de uso. Como o modelo foi ajustado para qualidade de prosa em vez de uso de ferramentas ou multimodalidade, ele se encaixa em trabalhos com muito texto: redigir e reescrever conteúdo de formato longo, ajustar tom e registro, editar para uma voz particular, roleplay e diálogo orientado por personagem, e sumarização de documentos longos que cabem dentro da janela de contexto. O contexto de 32768 tokens suporta passar material de origem substancial, e o teto de saída de 4096 tokens serve para capítulos, artigos e respostas de múltiplos parágrafos em vez de gerações únicas muito longas.

Você o chama através da API compatível com OpenAI da api14 usando o id de modelo "anthracite-org/magnum-v4-72b". A API suporta um amplo conjunto de parâmetros de requisição: frequency_penalty, logit_bias, logprobs, max_tokens, min_p, presence_penalty, repetition_penalty, response_format, seed, stop, structured_outputs, temperature, top_a, top_k, top_logprobs e top_p. Saídas estruturadas e response_format estão disponíveis quando você precisa que a resposta siga um esquema em vez de prosa livre, e seed ajuda quando você quer um resultado reproduzível. Os controles de amostragem permitem ajustar criatividade e repetição para atender à tarefa.

Tenha os limites em mente ao escolher. A janela de contexto é de 32768 tokens, então bases de código muito grandes, entradas do tamanho de um livro inteiro ou históricos longos de agente não caberão, e a saída máxima de 4096 tokens descarta gerações únicas além desse comprimento. O corte de conhecimento de 30 de junho de 2024 significa que eventos recentes ou documentação atual não são conhecidos pelo modelo. Se você precisa de entrada de imagem, áudio, ou um contexto muito maior, outro modelo na api14 se encaixaria melhor.