Amazon: Nova Pro 1.0

Amazon Nova Pro 1.0 to model generowania tekstu od Amazon, wymieniony na api14 pod identyfikatorem modelu amazon/nova-pro-v1. Należy do kategorii tekstowych i jest opisywany przez Amazon jako wydajny model multimodalny zbudowany tak, aby łączyć dokładność, szybkość i koszt w szerokim zakresie zadań. Został udostępniony przez dostawcę 5 grudnia 2024, a jego data odcięcia wiedzy to 31 października 2024, więc wszystko, co wydarzyło się po tej dacie, wykracza poza to, na czym model był trenowany.

Po stronie wejścia Nova Pro 1.0 przyjmuje tekst i obrazy, co czyni go multimodalnym, a nie wyłącznie tekstowym. Wyjściem jest tekst. Okno kontekstu wynosi 300 000 tokenów, co wystarcza na długie dokumenty, obszerne historie rozmów lub mieszankę tekstu i obrazów w jednym żądaniu. Maksymalne wyjście to 5 120 tokenów, więc odpowiedzi są ograniczone znacznie poniżej pojemności wejścia. Jeśli Twoje zadanie polega na tworzeniu bardzo długich pojedynczych odpowiedzi, ten limit wyjścia jest liczbą, o której warto pamiętać.

Te możliwości wskazują na dość szeroki zestaw praktycznych zastosowań. Ponieważ odczytuje obrazy tak samo jak tekst, pasuje do zadań takich jak opisywanie lub wnioskowanie o zrzutach ekranu, diagramach, zdjęciach i zeskanowanych stronach wraz z pisemnymi instrukcjami. Kontekst 300 000 tokenów odpowiada analizie długich dokumentów, streszczaniu dużych plików oraz rozmowom wieloetapowym, w których wcześniejszy kontekst musi pozostawać widoczny. Obsługa narzędzi oznacza, że można go używać w przepływach pracy, w których model wywołuje funkcje lub usługi zewnętrzne, co jest przydatne dla asystentów i agentów. Ogólne generowanie tekstu, ekstrakcja i odpowiadanie na pytania na podstawie mieszanego wejścia tekstowego i obrazowego to wszystko rozsądne zastosowania.

Model wywołujesz przez zgodne z OpenAI API api14, używając identyfikatora modelu "amazon/nova-pro-v1". Obsługiwane parametry żądania to max_tokens, stop, temperature, tools, top_k i top_p. Obejmuje to zwykłe kontrolki próbkowania (temperature, top_p, top_k), długość wyjścia przez max_tokens, sekwencje stop oraz wywoływanie narzędzi lub funkcji przez tools. Ponieważ interfejs jest zgodny z OpenAI, istniejące klienty i SDK kierowane na format czatu OpenAI zasadniczo działają po zmianie jedynie identyfikatora modelu i bazowego URL.

Dwa ograniczenia warto rozważyć przed podjęciem decyzji. Maksymalne wyjście 5 120 tokenów jest umiarkowane względem okna wejściowego 300 000 tokenów, więc obciążenia wymagające bardzo długich generowanych odpowiedzi mogą być ograniczone. Data odcięcia wiedzy 31 października 2024 oznacza również, że model nie ma wbudowanej świadomości późniejszych zdarzeń, więc zadania zależne od niedawnych informacji wymagają wyszukiwania lub narzędzi, a nie wiedzy samego modelu. Jeśli Twoja praca jest wyłącznie tekstowa i nie korzysta z wejścia obrazowego, model wyłącznie tekstowy może być prostszym wyborem, ale w przypadku zadań mieszanych tekstowo-obrazowych z długim kontekstem Nova Pro 1.0 pokrywa opisany tu zakres.