Amazon: Nova Micro 1.0

Amazon Nova Micro 1.0 är en textmodell från Amazon, en del av modellfamiljen Nova. Amazon släppte den 5 december 2024, och den positioneras som alternativet med lägst latens i den familjen. Den riktar sig till utvecklare som behöver snabba textsvar snarare än multimodala indata eller utdata, eftersom både dess indata och utdata är text.

Modellen tar emot textprompter och returnerar textkompletteringar. Den har ett kontextfönster på 128 000 tokens, vilket räcker för att rymma långa dokument, utökade konversationer eller stora mängder referensmaterial i en enda begäran. Dess maximala utdata är 5 120 tokens, så svaren begränsas till den längden oavsett hur mycket indata du skickar. Dess kunskapsgräns är 31 oktober 2024, vilket innebär att allt efter det datumet ligger utanför vad modellen lärde sig under träningen. Det finns inget stöd för bild, ljud eller video i någon riktning.

Eftersom den är textbaserad och optimerad för låg latens passar Nova Micro 1.0 för arbete där hastighet är viktigare än djupgående resonemang. Typiska användningsområden inkluderar chattassistenter och kundsupportbotar som behöver snabba svar, klassificering och dirigering av inkommande text, sammanfattning av långa dokument som ryms inom kontextfönstret, extrahering av strukturerade fält från ostrukturerad text och lättviktsgenerering av innehåll. Kombinationen av ett kontextfönster på 128 000 tokens och ett utdatatak på 5 120 tokens passar också för retrieval augmented generation, där du klistrar in hämtade avsnitt i prompten och begär ett kort grundat svar. Tool calling är tillgängligt, så den kan driva funktionsanrop i agentliknande arbetsflöden där modellen avgör vilket verktyg som ska anropas.

Du anropar modellen via api14:s OpenAI-kompatibla API med modell-id:t "amazon/nova-micro-v1". Eftersom gränssnittet följer formen för OpenAI chat completions kan du peka en befintlig OpenAI-klient mot api14:s bas-URL och ändra fältet model, utan andra strukturella ändringar i din begäran. De parametrar som stöds i begäran är max_tokens, stop, temperature, tools, top_k och top_p. Använd max_tokens för att begränsa svarslängden inom utdatagränsen på 5 120 tokens, stop för att avbryta genereringen vid en vald sekvens, temperature tillsammans med top_p eller top_k för att styra slumpmässigheten i samplingen, och tools för att deklarera funktioner som modellen får anropa.

Tänk på begränsningarna när du väljer den här modellen. Den hanterar endast text, så uppgifter som involverar bilder eller ljud behöver en annan modell. Utdatataket på 5 120 tokens utesluter mycket långa enskilda svar, och kunskapsgränsen i oktober 2024 innebär att aktuella händelser inte täcks om du inte tillhandahåller dem i prompten. Om en uppgift är beroende av tyngre resonemang eller multimodal indata är en annan modell i katalogen sannolikt en bättre matchning.