Moondream: Moondream 3 Preview

Moondream: Moondream 3 Preview to model językowo-wizualny od Moondream, wymieniony na api14 w głównej kategorii tekst. Jest to model typu mixture-of-experts z łączną liczbą 9B parametrów i 2B aktywnych parametrów, co oznacza, że przy każdym żądaniu angażowana jest tylko część sieci. Etykieta "preview" w nazwie wskazuje, że jest to wczesna wersja trzeciej generacji Moondream, a nie finalne wydanie. Znajduje się w kategorii tekst na api14, mimo że przyjmuje obrazy, ponieważ jego wynik jest zawsze tekstem.

Model przyjmuje dane wejściowe w postaci tekstu i obrazów, a zwraca wyłącznie tekst. Jego okno kontekstowe wynosi 32 000 tokenów, a maksymalny wynik to 4 096 tokenów. Według Moondream obsługuje odpowiadanie na pytania wizualne, tworzenie podpisów, OCR oraz rozumowanie wizualne na obrazach. Obsługiwane parametry żądania to include_reasoning, max_completion_tokens, max_tokens, reasoning, temperature i top_p. Obecność reasoning i include_reasoning sugeruje, że model może ujawniać pośrednie kroki rozumowania, gdy się o to poprosi, choć dokładna forma tego wyniku nie jest tu określona.

Te możliwości wskazują na dość konkretny zestaw zadań. Odpowiadanie na pytania wizualne pasuje wszędzie tam, gdzie użytkownik musi zapytać o zawartość zdjęcia lub zrzutu ekranu i otrzymać pisemną odpowiedź. Tworzenie podpisów nadaje się do generowania tekstu alternatywnego, opisów obrazów do katalogów lub podsumowań materiałów wizualnych. OCR obejmuje wyodrębnianie tekstu z obrazów, takich jak skany, paragony czy sfotografowane dokumenty, i zwracanie go jako zwykły tekst. Rozumowanie wizualne idzie o krok dalej, dla zadań, w których odpowiedź zależy od połączenia tego, co widoczne, z pytaniem, na przykład interpretacji wykresu lub sprawdzenia, czy obraz pasuje do twierdzenia. Ponieważ wynik jest wyłącznie tekstem, model nie nadaje się, gdy potrzebne są generowane obrazy.

Wywołujesz go przez zgodne z OpenAI API api14, używając identyfikatora modelu "moondream/moondream3-preview". Każdy klient obsługujący format chat completions OpenAI powinien działać; ustawiasz pole model na ten identyfikator i wysyłasz swój prompt tekstowy wraz z dowolnymi obrazami, które chcesz przeanalizować. Dostrój próbkowanie za pomocą temperature i top_p, ogranicz odpowiedź za pomocą max_tokens lub max_completion_tokens, a rozumowanie włącz za pomocą parametrów reasoning lub include_reasoning, jeśli chcesz, aby rozumowanie modelu zostało ujawnione.

Miej na uwadze kontekst 32 000 tokenów i limit wyniku 4 096 tokenów podczas projektowania promptów: długie dokumenty plus kilka obrazów mogą szybko zapełnić okno, a bardzo długie odpowiedzi zostaną obcięte. Jeśli twoje zadanie jest czysto tekstowe, bez obrazów, albo potrzebujesz wejścia audio lub wideo, albo potrzebujesz wyniku w postaci obrazu, inny model na api14 będzie lepiej pasował niż ten.