Amazon: Nova Micro 1.0

Amazon Nova Micro 1.0 é um modelo apenas de texto da Amazon, parte da família de modelos Nova. A Amazon o lançou em 5 de dezembro de 2024, e ele é posicionado como a opção de menor latência dessa família. Ele é voltado para desenvolvedores que precisam de respostas de texto rápidas em vez de entrada ou saída multimodal, já que suas modalidades de entrada e saída são ambas texto.

O modelo aceita prompts de texto e retorna completações de texto. Ele tem uma janela de contexto de 128.000 tokens, o que é suficiente para conter documentos longos, conversas estendidas ou grandes lotes de material de referência em uma única requisição. Sua saída máxima é de 5.120 tokens, então as respostas são limitadas a esse comprimento independentemente de quanto input você enviar. Seu corte de conhecimento é 31 de outubro de 2024, o que significa que qualquer coisa após essa data está fora do que o modelo aprendeu durante o treinamento. Não há suporte a imagem, áudio ou vídeo em nenhuma direção.

Por ser apenas de texto e ajustado para baixa latência, o Nova Micro 1.0 se encaixa em trabalhos onde a velocidade importa mais do que raciocínio profundo. Usos típicos incluem assistentes de chat e bots de suporte ao cliente que precisam de respostas rápidas, classificação e encaminhamento de texto recebido, sumarização de documentos longos que cabem dentro da janela de contexto, extração de campos estruturados a partir de texto não estruturado e geração de conteúdo leve. A combinação de um contexto de 128.000 tokens e um teto de saída de 5.120 tokens também é adequada para geração aumentada por recuperação, onde você cola passagens recuperadas no prompt e pede uma resposta curta e fundamentada. A chamada de ferramentas está disponível, então ele pode acionar chamadas de função em fluxos de trabalho no estilo agente, onde o modelo decide qual ferramenta invocar.

Você chama o modelo através da API compatível com OpenAI da api14 usando o id de modelo "amazon/nova-micro-v1". Como a interface segue o formato de completações de chat da OpenAI, você pode apontar um cliente OpenAI existente para a URL base da api14 e alterar o campo model, sem outras mudanças estruturais na sua requisição. Os parâmetros de requisição suportados são max_tokens, stop, temperature, tools, top_k e top_p. Use max_tokens para limitar o comprimento da resposta dentro do limite de saída de 5.120 tokens, stop para interromper a geração em uma sequência escolhida, temperature junto com top_p ou top_k para controlar a aleatoriedade da amostragem, e tools para declarar funções que o modelo pode chamar.

Considere as restrições ao escolher este modelo. Ele lida apenas com texto, então tarefas envolvendo imagens ou áudio precisam de um modelo diferente. O limite de saída de 5.120 tokens descarta respostas únicas muito longas, e o corte de conhecimento de outubro de 2024 significa que eventos recentes não são cobertos a menos que você os forneça no prompt. Se uma tarefa depende de raciocínio mais pesado ou entrada multimodal, outro modelo no catálogo provavelmente é uma escolha melhor.