Amazon: Nova Micro 1.0

Amazon Nova Micro 1.0 es un modelo solo de texto de Amazon, parte de la familia de modelos Nova. Amazon lo lanzó el 5 de diciembre de 2024, y está posicionado como la opción de menor latencia de esa familia. Está dirigido a desarrolladores que necesitan respuestas de texto rápidas en lugar de entrada o salida multimodal, ya que sus modalidades de entrada y salida son ambas de texto.

El modelo acepta prompts de texto y devuelve completados de texto. Tiene una ventana de contexto de 128.000 tokens, lo que es suficiente para contener documentos largos, conversaciones extendidas o grandes lotes de material de referencia en una sola solicitud. Su salida máxima es de 5.120 tokens, por lo que las respuestas están acotadas a esa longitud independientemente de cuánta entrada envíes. Su fecha de corte de conocimiento es el 31 de octubre de 2024, lo que significa que cualquier cosa posterior a esa fecha queda fuera de lo que el modelo aprendió durante el entrenamiento. No hay soporte de imagen, audio o vídeo en ninguna dirección.

Como es solo de texto y está ajustado para baja latencia, Nova Micro 1.0 encaja en trabajos donde la velocidad importa más que el razonamiento profundo. Los usos típicos incluyen asistentes de chat y bots de atención al cliente que necesitan respuestas rápidas, clasificación y enrutamiento de texto entrante, resumen de documentos largos que caben dentro de la ventana de contexto, extracción de campos estructurados a partir de texto no estructurado y generación de contenido ligera. La combinación de un contexto de 128.000 tokens y un techo de salida de 5.120 tokens también se adapta a la generación aumentada por recuperación, donde pegas pasajes recuperados en el prompt y pides una respuesta breve y fundamentada. El llamado a herramientas está disponible, por lo que puede impulsar llamadas a funciones en flujos de trabajo estilo agente donde el modelo decide qué herramienta invocar.

Llamas al modelo a través de la API compatible con OpenAI de api14 usando el id de modelo "amazon/nova-micro-v1". Como la interfaz sigue la forma de chat completions de OpenAI, puedes apuntar un cliente de OpenAI existente a la URL base de api14 y cambiar el campo model, sin otros cambios estructurales en tu solicitud. Los parámetros de solicitud soportados son max_tokens, stop, temperature, tools, top_k y top_p. Usa max_tokens para limitar la longitud de la respuesta dentro del límite de salida de 5.120 tokens, stop para detener la generación en una secuencia elegida, temperature junto con top_p o top_k para controlar la aleatoriedad del muestreo, y tools para declarar funciones que el modelo puede llamar.

Considera las restricciones al elegir este modelo. Solo maneja texto, por lo que las tareas que involucran imágenes o audio necesitan un modelo diferente. El límite de salida de 5.120 tokens descarta respuestas únicas muy largas, y la fecha de corte de conocimiento de octubre de 2024 significa que los eventos recientes no están cubiertos a menos que los proporciones en el prompt. Si una tarea depende de un razonamiento más pesado o de entrada multimodal, es probable que otro modelo del catálogo sea una mejor opción.