Amazon: Nova Lite 1.0

Amazon Nova Lite 1.0 to model generowania tekstu od Amazon, wydany 5 grudnia 2024. Należy do rodziny modeli Nova firmy Amazon i jest pozycjonowany jako szybka, tania opcja do pracy multimodalnej. Model jest identyfikowany na api14 jako amazon/nova-lite-v1, a Amazon jest zarówno deweloperem, jak i dostawcą stojącym za nim.

Model przyjmuje dane wejściowe w postaci tekstu i obrazów oraz generuje dane wyjściowe w postaci tekstu. Ma okno kontekstu wynoszące 300 000 tokenów, co pozwala na obsługę bardzo długich dokumentów, długich rozmów lub dużych zbiorów obrazów i tekstu w pojedynczym żądaniu. Maksymalne dane wyjściowe to 5 120 tokenów, więc odpowiedzi są ograniczone nawet przy dużych danych wejściowych. Jego data odcięcia wiedzy to 31 października 2024, co oznacza, że nie ma informacji o zdarzeniach po tej dacie, chyba że informacje te zostaną dostarczone w prompcie. Amazon opisuje model jako skupiony na szybkim przetwarzaniu danych wejściowych w postaci obrazów, wideo i tekstu w celu generowania danych wyjściowych w postaci tekstu, więc szybkość na danych multimodalnych jest centralną częścią jego konstrukcji.

Te możliwości wskazują na kilka praktycznych zastosowań. Ponieważ odczytuje obrazy oraz tekst, nadaje się do zadań takich jak opisywanie lub streszczanie treści obrazów, wyodrębnianie informacji ze zrzutów ekranu lub zeskanowanych dokumentów oraz odpowiadanie na pytania oparte na mieszance obrazów i pisemnych instrukcji. Kontekst 300 000 tokenów czyni go użytecznym dla długich raportów, długich historii czatu lub partii materiałów, które nie zmieściłyby się w mniejszym oknie. Limit danych wyjściowych 5 120 tokenów oznacza, że lepiej nadaje się do streszczeń, odpowiedzi, klasyfikacji i krótkich generowanych fragmentów niż do tworzenia bardzo długich dokumentów w jednym wywołaniu. Deweloperzy budujący asystentów, którzy muszą spojrzeć na obraz i odpowiedzieć tekstem, lub potoki, które muszą szybko przetwarzać duże ilości mieszanych danych wejściowych, są naturalną grupą odbiorców.

Model wywołujesz przez API zgodne z OpenAI w api14, używając identyfikatora modelu amazon/nova-lite-v1. Ponieważ interfejs jest zgodny z formatem OpenAI, istniejące biblioteki klienckie OpenAI i kształty żądań zasadniczo działają po zmianie jedynie nazwy modelu. Obsługiwane parametry żądania to max_tokens, stop, temperature, tools, top_k i top_p. Parametr tools oznacza, że dostępne jest wywoływanie funkcji lub narzędzi, więc model może być używany w konfiguracjach w stylu agenta, w których decyduje, kiedy wywołać funkcję zewnętrzną. temperature, top_k i top_p dają kontrolę nad próbkowaniem, a stop pozwala zdefiniować sekwencje kończące generowanie, natomiast max_tokens ogranicza długość odpowiedzi.

Przed podjęciem decyzji warto rozważyć kilka ograniczeń. Dane wyjściowe są ograniczone do 5 120 tokenów, więc jeśli potrzebujesz bardzo długich pojedynczych odpowiedzi, lepiej może pasować model z wyższym limitem danych wyjściowych. Data odcięcia wiedzy 31 października 2024 oznacza, że pytania o późniejsze zdarzenia wymagają dołączenia odpowiedniego kontekstu w prompcie. Model generuje wyłącznie tekst, więc nie może tworzyć obrazów. Jeśli Twoje zadanie jest czysto tekstowe i nie korzysta z danych wejściowych w postaci obrazów ani bardzo dużego kontekstu, prostszy model tekstowy może być wystarczający.