Amazon: Nova Micro 1.0

Amazon Nova Micro 1.0 est un modèle texte uniquement d'Amazon, faisant partie de la famille de modèles Nova. Amazon l'a publié le 5 décembre 2024, et il est positionné comme l'option à la latence la plus faible de cette famille. Il s'adresse aux développeurs qui ont besoin de réponses textuelles rapides plutôt que d'entrées ou de sorties multimodales, puisque ses modalités d'entrée et de sortie sont toutes deux du texte.

Le modèle accepte des invites textuelles et renvoie des complétions textuelles. Il dispose d'une fenêtre de contexte de 128 000 tokens, ce qui suffit pour contenir de longs documents, des conversations étendues ou de grands lots de matériel de référence dans une seule requête. Sa sortie maximale est de 5 120 tokens, donc les réponses sont limitées à cette longueur quelle que soit la quantité d'entrée envoyée. Sa date de coupure des connaissances est le 31 octobre 2024, ce qui signifie que tout ce qui suit cette date est en dehors de ce que le modèle a appris pendant l'entraînement. Il n'y a aucune prise en charge d'image, d'audio ou de vidéo dans un sens comme dans l'autre.

Parce qu'il est texte uniquement et optimisé pour une faible latence, Nova Micro 1.0 convient aux travaux où la vitesse compte plus que le raisonnement approfondi. Les usages typiques incluent les assistants de chat et les bots de support client qui ont besoin de réponses rapides, la classification et le routage de texte entrant, la synthèse de longs documents qui tiennent dans la fenêtre de contexte, l'extraction de champs structurés à partir de texte non structuré, et la génération de contenu légère. La combinaison d'un contexte de 128 000 tokens et d'un plafond de sortie de 5 120 tokens convient également à la génération augmentée par récupération, où vous collez les passages récupérés dans l'invite et demandez une réponse courte et fondée. L'appel d'outils est disponible, il peut donc piloter des appels de fonctions dans des flux de travail de type agent où le modèle décide quel outil invoquer.

Vous appelez le modèle via l'API compatible OpenAI d'api14 en utilisant l'identifiant de modèle "amazon/nova-micro-v1". Comme l'interface suit la forme des complétions de chat OpenAI, vous pouvez pointer un client OpenAI existant vers l'URL de base d'api14 et changer le champ model, sans aucune autre modification structurelle de votre requête. Les paramètres de requête pris en charge sont max_tokens, stop, temperature, tools, top_k et top_p. Utilisez max_tokens pour plafonner la longueur de la réponse dans la limite de sortie de 5 120 tokens, stop pour arrêter la génération à une séquence choisie, temperature avec top_p ou top_k pour contrôler l'aléa d'échantillonnage, et tools pour déclarer les fonctions que le modèle peut appeler.

Tenez compte des contraintes lors du choix de ce modèle. Il ne traite que le texte, donc les tâches impliquant des images ou de l'audio nécessitent un modèle différent. Le plafond de sortie de 5 120 tokens exclut les réponses uniques très longues, et la date de coupure des connaissances d'octobre 2024 signifie que les événements récents ne sont pas couverts, sauf si vous les fournissez dans l'invite. Si une tâche dépend d'un raisonnement plus lourd ou d'une entrée multimodale, un autre modèle du catalogue conviendra probablement mieux.