Amazon: Nova Micro 1.0

Amazon Nova Micro 1.0 to model tekstowy od Amazon, należący do rodziny modeli Nova. Amazon udostępnił go 5 grudnia 2024 i jest pozycjonowany jako opcja o najniższym opóźnieniu w tej rodzinie. Jest skierowany do deweloperów, którzy potrzebują szybkich odpowiedzi tekstowych, a nie wejścia lub wyjścia multimodalnego, ponieważ jego modalności wejściowe i wyjściowe są tekstowe.

Model przyjmuje podpowiedzi tekstowe i zwraca uzupełnienia tekstowe. Ma okno kontekstu wynoszące 128 000 tokenów, co wystarcza na długie dokumenty, rozszerzone rozmowy lub duże partie materiału referencyjnego w jednym żądaniu. Maksymalne wyjście to 5 120 tokenów, więc odpowiedzi są ograniczone do tej długości niezależnie od ilości wysłanego wejścia. Punkt odcięcia wiedzy to 31 października 2024, co oznacza, że wszystko po tej dacie wykracza poza to, czego model nauczył się podczas treningu. Nie ma obsługi obrazu, dźwięku ani wideo w żadnym kierunku.

Ponieważ jest tekstowy i dostrojony pod niskie opóźnienia, Nova Micro 1.0 pasuje do pracy, w której szybkość liczy się bardziej niż głębokie rozumowanie. Typowe zastosowania obejmują asystentów czatu i boty wsparcia klienta, które potrzebują szybkich odpowiedzi, klasyfikację i kierowanie przychodzącego tekstu, streszczanie długich dokumentów mieszczących się w oknie kontekstu, wyodrębnianie ustrukturyzowanych pól z nieustrukturyzowanego tekstu oraz lekkie generowanie treści. Połączenie kontekstu 128 000 tokenów i limitu wyjścia 5 120 tokenów pasuje również do generowania wspomaganego wyszukiwaniem, gdzie wklejasz pobrane fragmenty do podpowiedzi i prosisz o krótką odpowiedź opartą na źródłach. Dostępne jest wywoływanie narzędzi, więc model może sterować wywołaniami funkcji w przepływach w stylu agentowym, gdzie sam decyduje, które narzędzie wywołać.

Model wywołujesz przez API zgodne z OpenAI w api14, używając identyfikatora modelu "amazon/nova-micro-v1". Ponieważ interfejs jest zgodny ze strukturą uzupełnień czatu OpenAI, możesz skierować istniejącego klienta OpenAI na bazowy URL api14 i zmienić pole model, bez innych zmian strukturalnych w żądaniu. Obsługiwane parametry żądania to max_tokens, stop, temperature, tools, top_k i top_p. Użyj max_tokens, aby ograniczyć długość odpowiedzi w ramach limitu wyjścia 5 120 tokenów, stop, aby zatrzymać generowanie na wybranej sekwencji, temperature razem z top_p lub top_k, aby kontrolować losowość próbkowania, oraz tools, aby zadeklarować funkcje, które model może wywołać.

Weź pod uwagę ograniczenia przy wyborze tego modelu. Obsługuje wyłącznie tekst, więc zadania z obrazami lub dźwiękiem wymagają innego modelu. Limit wyjścia 5 120 tokenów wyklucza bardzo długie pojedyncze odpowiedzi, a punkt odcięcia wiedzy z października 2024 oznacza, że ostatnie wydarzenia nie są uwzględnione, chyba że podasz je w podpowiedzi. Jeśli zadanie zależy od cięższego rozumowania lub wejścia multimodalnego, inny model w katalogu będzie prawdopodobnie lepszym wyborem.