Amazon: Nova Micro 1.0

Amazon Nova Micro 1.0 ist ein reines Textmodell von Amazon und Teil der Nova-Modellfamilie. Amazon veröffentlichte es am 5. Dezember 2024, und es ist als Option mit der geringsten Latenz in dieser Familie positioniert. Es richtet sich an Entwickler, die schnelle Textantworten benötigen statt multimodaler Ein- oder Ausgabe, da seine Eingabe- und Ausgabemodalitäten beide Text sind.

Das Modell akzeptiert Textaufforderungen und gibt Textvervollständigungen zurück. Es hat ein Kontextfenster von 128.000 Token, was ausreicht, um lange Dokumente, ausgedehnte Gespräche oder große Mengen an Referenzmaterial in einer einzigen Anfrage unterzubringen. Seine maximale Ausgabe beträgt 5.120 Token, sodass Antworten auf diese Länge begrenzt sind, unabhängig davon, wie viel Eingabe Sie senden. Sein Wissensstand endet am 31. Oktober 2024, was bedeutet, dass alles nach diesem Datum außerhalb dessen liegt, was das Modell während des Trainings gelernt hat. Es gibt keine Unterstützung für Bilder, Audio oder Video in beide Richtungen.

Da es reiner Text ist und auf geringe Latenz abgestimmt wurde, eignet sich Nova Micro 1.0 für Arbeiten, bei denen Geschwindigkeit wichtiger ist als tiefgehendes Schlussfolgern. Typische Anwendungen sind Chat-Assistenten und Kundensupport-Bots, die schnelle Antworten benötigen, Klassifizierung und Weiterleitung eingehender Texte, Zusammenfassung langer Dokumente, die in das Kontextfenster passen, Extraktion strukturierter Felder aus unstrukturiertem Text und leichte Inhaltserzeugung. Die Kombination aus einem Kontext von 128.000 Token und einer Ausgabeobergrenze von 5.120 Token eignet sich auch für retrieval augmented generation, bei der Sie abgerufene Passagen in die Aufforderung einfügen und eine kurze fundierte Antwort anfordern. Tool calling ist verfügbar, sodass es Funktionsaufrufe in agentenartigen Workflows steuern kann, bei denen das Modell entscheidet, welches Tool aufgerufen wird.

Sie rufen das Modell über die OpenAI-kompatible API von api14 mit der Modell-ID "amazon/nova-micro-v1" auf. Da die Schnittstelle der Form der OpenAI chat completions folgt, können Sie einen vorhandenen OpenAI-Client auf die Basis-URL von api14 richten und das Feld model ändern, ohne weitere strukturelle Änderungen an Ihrer Anfrage. Die unterstützten Anfrageparameter sind max_tokens, stop, temperature, tools, top_k und top_p. Verwenden Sie max_tokens, um die Antwortlänge innerhalb des Ausgabelimits von 5.120 Token zu begrenzen, stop, um die Generierung bei einer gewählten Sequenz anzuhalten, temperature zusammen mit top_p oder top_k, um die Zufälligkeit der Stichprobenauswahl zu steuern, und tools, um Funktionen zu deklarieren, die das Modell aufrufen darf.

Berücksichtigen Sie die Einschränkungen bei der Auswahl dieses Modells. Es verarbeitet nur Text, sodass Aufgaben mit Bildern oder Audio ein anderes Modell benötigen. Die Ausgabeobergrenze von 5.120 Token schließt sehr lange einzelne Antworten aus, und der Wissensstand von Oktober 2024 bedeutet, dass aktuelle Ereignisse nicht abgedeckt sind, es sei denn, Sie liefern sie in der Aufforderung mit. Wenn eine Aufgabe von schwererem Schlussfolgern oder multimodaler Eingabe abhängt, ist wahrscheinlich ein anderes Modell im Katalog besser geeignet.