Amazon: Nova Micro 1.0

Amazon Nova Micro 1.0 is een tekst-only model van Amazon, onderdeel van de Nova-familie van modellen. Amazon bracht het uit op 5 december 2024, en het is gepositioneerd als de optie met de laagste latency in die familie. Het is gericht op ontwikkelaars die snelle tekstreacties nodig hebben in plaats van multimodale input of output, aangezien de input- en outputmodaliteiten beide tekst zijn.

Het model accepteert tekstprompts en retourneert tekstcompletions. Het heeft een contextvenster van 128.000 tokens, wat genoeg is om lange documenten, uitgebreide gesprekken of grote hoeveelheden referentiemateriaal in één verzoek op te nemen. De maximale output is 5.120 tokens, dus reacties zijn beperkt tot die lengte ongeacht hoeveel input je stuurt. De knowledge cutoff is 31 oktober 2024, wat betekent dat alles na die datum buiten wat het model tijdens training heeft geleerd valt. Er is geen ondersteuning voor afbeeldingen, audio of video in beide richtingen.

Omdat het tekst-only is en afgestemd op lage latency, past Nova Micro 1.0 bij werk waarbij snelheid belangrijker is dan diepgaand redeneren. Typische toepassingen zijn chatassistenten en klantensupportbots die snelle antwoorden nodig hebben, classificatie en routering van inkomende tekst, samenvatting van lange documenten die binnen het contextvenster passen, extractie van gestructureerde velden uit ongestructureerde tekst, en lichtgewicht contentgeneratie. De combinatie van een context van 128.000 tokens en een outputplafond van 5.120 tokens past ook bij retrieval augmented generation, waarbij je opgehaalde passages in de prompt plakt en om een kort onderbouwd antwoord vraagt. Tool calling is beschikbaar, dus het kan functieaanroepen aansturen in agent-achtige workflows waarbij het model beslist welke tool het aanroept.

Je roept het model aan via de OpenAI-compatibele API van api14 met het model-id "amazon/nova-micro-v1". Omdat de interface de vorm van OpenAI chat completions volgt, kun je een bestaande OpenAI-client op de base URL van api14 richten en het model-veld wijzigen, zonder andere structurele wijzigingen aan je verzoek. De ondersteunde requestparameters zijn max_tokens, stop, temperature, tools, top_k en top_p. Gebruik max_tokens om de responslengte binnen de outputlimiet van 5.120 tokens te beperken, stop om generatie bij een gekozen sequentie te stoppen, temperature samen met top_p of top_k om de samplingwillekeur te regelen, en tools om functies te declareren die het model mag aanroepen.

Houd rekening met de beperkingen bij het kiezen van dit model. Het verwerkt alleen tekst, dus taken met afbeeldingen of audio hebben een ander model nodig. Het outputplafond van 5.120 tokens sluit zeer lange enkele reacties uit, en de knowledge cutoff van oktober 2024 betekent dat recente gebeurtenissen niet worden gedekt tenzij je ze in de prompt opneemt. Als een taak afhankelijk is van zwaarder redeneren of multimodale input, is een ander model in de catalogus waarschijnlijk een betere keuze.