Amazon: Nova Micro 1.0

Amazon Nova Micro 1.0 è un modello solo testo di Amazon, parte della famiglia di modelli Nova. Amazon lo ha rilasciato il 5 dicembre 2024, ed è posizionato come l'opzione con la latenza più bassa di quella famiglia. È pensato per sviluppatori che necessitano di risposte testuali rapide piuttosto che input o output multimodale, poiché le sue modalità di input e output sono entrambe testuali.

Il modello accetta prompt testuali e restituisce completamenti testuali. Ha una finestra di contesto di 128.000 token, sufficiente a contenere documenti lunghi, conversazioni estese o grandi lotti di materiale di riferimento in una singola richiesta. Il suo output massimo è di 5.120 token, quindi le risposte sono limitate a quella lunghezza indipendentemente da quanto input si invia. Il suo knowledge cutoff è il 31 ottobre 2024, il che significa che tutto ciò che è successivo a quella data è al di fuori di ciò che il modello ha appreso durante l'addestramento. Non c'è supporto per immagini, audio o video in nessuna delle due direzioni.

Poiché è solo testo ed è ottimizzato per la bassa latenza, Nova Micro 1.0 è adatto a lavori in cui la velocità conta più del ragionamento profondo. Gli usi tipici includono assistenti chat e bot di supporto clienti che necessitano di risposte rapide, classificazione e instradamento del testo in ingresso, riepilogo di documenti lunghi che rientrano nella finestra di contesto, estrazione di campi strutturati da testo non strutturato e generazione di contenuti leggeri. La combinazione di un contesto di 128.000 token e di un tetto di output di 5.120 token si adatta anche alla generazione aumentata dal recupero, in cui si incollano nel prompt i passaggi recuperati e si chiede una risposta breve e fondata. La chiamata agli strumenti è disponibile, quindi può guidare chiamate di funzione in flussi di lavoro in stile agente in cui il modello decide quale strumento invocare.

Si chiama il modello tramite l'API compatibile con OpenAI di api14 usando l'id del modello "amazon/nova-micro-v1". Poiché l'interfaccia segue la forma delle chat completions di OpenAI, è possibile puntare un client OpenAI esistente all'URL di base di api14 e cambiare il campo model, senza altre modifiche strutturali alla richiesta. I parametri di richiesta supportati sono max_tokens, stop, temperature, tools, top_k e top_p. Usa max_tokens per limitare la lunghezza della risposta entro il limite di output di 5.120 token, stop per interrompere la generazione a una sequenza scelta, temperature insieme a top_p o top_k per controllare la casualità del campionamento e tools per dichiarare le funzioni che il modello può chiamare.

Considera i vincoli quando scegli questo modello. Gestisce solo testo, quindi le attività che coinvolgono immagini o audio richiedono un modello diverso. Il limite di output di 5.120 token esclude risposte singole molto lunghe, e il knowledge cutoff di ottobre 2024 significa che gli eventi recenti non sono coperti a meno che tu non li fornisca nel prompt. Se un'attività dipende da un ragionamento più pesante o da input multimodale, un altro modello nel catalogo è probabilmente più adatto.