Moondream: Moondream 3.1

Moondream: Moondream 3.1 to model językowo-wizyjny od Moondream, tego samego zespołu stojącego za wcześniejszymi wydaniami Moondream. Jest następcą Moondream 3 Preview i wykorzystuje projekt mieszaniny ekspertów z łączną liczbą 9B parametrów i 2B aktywnych parametrów. To połączenie oznacza, że model ma dużą ogólną pojemność, aktywując jednocześnie tylko jej mniejszy wycinek na żądanie, co jest powszechnym sposobem na utrzymanie wydajności wnioskowania bez zmniejszania wiedzy modelu. Znajduje się w kategorii tekstowej na api14, ale jego cechą definiującą jest to, że odczytuje obrazy równie dobrze jak tekst.

Po stronie danych wejściowych Moondream 3.1 przyjmuje zarówno tekst, jak i obrazy, a generuje wyłącznie tekst. Jego okno kontekstowe wynosi 32 000 tokenów, a maksymalna długość wyjścia to 4 096 tokenów. Dostawca opisuje model jako obejmujący między innymi odpowiadanie na pytania wizualne, tworzenie podpisów i OCR. To podstawowe zachowania językowo-wizyjne: odpowiadanie na pytania o zawartość obrazu, generowanie opisu obrazu oraz wyodrębnianie tekstu widocznego na obrazie. Ponieważ okno kontekstowe jest współdzielone między danymi wejściowymi obrazu a podpowiedzią tekstową, większe lub liczniejsze obrazy pozostawiają mniej miejsca na instrukcje i historię rozmowy.

Praktyczne przypadki użycia wynikają bezpośrednio z tych możliwości. Odpowiadanie na pytania wizualne pasuje do narzędzi interaktywnych, w których użytkownik przesyła zdjęcie lub zrzut ekranu i pyta o jego zawartość. Tworzenie podpisów pasuje do potoków wymagających tekstu alternatywnego, opisów multimediów lub krótkich podsumowań zasobów obrazowych. OCR jest przydatny do wyciągania tekstu ze skanów, zrzutów ekranu, formularzy lub fotografii dokumentów oraz do przekazywania tego tekstu do dalszych kroków. Ponieważ model przyjmuje również zwykły tekst, może obsłużyć mieszaną podpowiedź, w której instrukcja i obraz pojawiają się razem, co upraszcza integrację w procesach przeglądu dokumentów i obrazów.

Wywołujesz go przez zgodne z OpenAI API api14, używając identyfikatora modelu "moondream/moondream3.1-9b-a2b". Obsługiwane parametry żądania to include_reasoning, max_completion_tokens, max_tokens, reasoning, temperature i top_p. Temperature i top_p kontrolują próbkowanie, natomiast parametry tokenów ograniczają długość generowanej odpowiedzi. Parametry reasoning i include_reasoning dotyczą ujawniania zachowania rozumowania modelu, więc sprawdź, jak obsługuje je Twój klient, jeśli nie potrzebujesz tych danych wyjściowych. Ponieważ interfejs jest zgodny z OpenAI, istniejące zestawy SDK i kształty żądań w stylu czatu generalnie działają bez zmian poza identyfikatorem modelu i zawartością obrazu w wiadomości.

Pamiętaj o ograniczeniach przy wyborze tego modelu. Kontekst 32 000 tokenów i pułap wyjścia 4 096 tokenów to twarde granice, więc bardzo długie dokumenty lub długie wieloturowe rozmowy o obrazach mogą wymagać dzielenia na fragmenty lub przycinania. Dane wyjściowe są wyłącznie tekstem, więc model nie będzie generować ani edytować obrazów. Jeśli Twoje zadanie jest czysto tekstowe i nie obejmuje obrazów, model wyłącznie tekstowy może być prostszym wyborem; Moondream 3.1 jest najbardziej wartościowy, gdy żądanie faktycznie zawiera obraz do zinterpretowania.