NVIDIA: Llama Nemotron Embed VL 1B V2 (free)

Llama Nemotron Embed VL 1B V2 to model embeddingowy od NVIDIA, dystrybuowany na api14 pod identyfikatorem modelu nvidia/llama-nemotron-embed-vl-1b-v2:free. Należy do kategorii embeddings, a jego deklarowanym przeznaczeniem jest multimodalne wyszukiwanie w pytaniach i odpowiedziach. Jest to model klasy 1B, co sytuuje go wśród mniejszych opcji w rodzinie Nemotron, i jest tu oferowany w wariancie darmowym.

Model przyjmuje tekst i obrazy jako dane wejściowe i zwraca embeddingi jako dane wyjściowe. Potrafi osadzać dokumenty w trzech postaciach: tylko obraz, tylko tekst albo obraz i tekst razem. Ta elastyczność jest sednem jego konstrukcji, ponieważ systemy wyszukiwania często muszą dopasować pytanie tekstowe do obrazu strony, zrzutu ekranu, diagramu lub fragmentu prozy. Okno kontekstu wynosi 131072 tokeny, a maksymalne dane wyjściowe to 117964, więc długie dokumenty można osadzać bez dzielenia ich na wiele fragmentów.

Praktyczne zastosowania wynikają z multimodalnego wyszukiwania. Zespół budujący system pytań i odpowiedzi na zeskanowanych dokumentach, plikach PDF, zdjęciach produktów lub bazach wiedzy o mieszanych mediach może osadzić każdy element raz, a następnie uruchomić wyszukiwanie podobieństwa względem zapytania tekstowego. Ponieważ obraz i tekst można osadzać łącznie, ten sam indeks może obsługiwać zapytania o wykres i zapytania o akapit obok niego, co pozwala uniknąć utrzymywania osobnych potoków dla treści wizualnych i tekstowych. Nadaje się także do deduplikacji, grupowania i rekomendacji w zbiorach łączących zrzuty ekranu z materiałem pisanym.

Aby wywołać go przez api14, użyj punktu końcowego embeddings zgodnego z OpenAI z identyfikatorem modelu nvidia/llama-nemotron-embed-vl-1b-v2:free. Model nie wymienia żadnych obsługiwanych parametrów, więc żądania powinny opierać się na standardowych polach wymaganych przez punkt końcowy, a nie na kontrolach próbkowania takich jak temperature czy top_p, które nie mają zastosowania do modeli embeddingowych. Wyślij dane wejściowe w zwykłym kształcie żądania embeddings i odczytaj wektor z odpowiedzi.

Jedna rzecz do rozważenia: to model embeddingowy, a nie model czatu ani generowania, więc nie odpowie na pytania ani nie napisze tekstu. Jeśli twoim zadaniem jest generowanie, rozumowanie lub rozmowa, właściwym wyborem jest inny model. Warto też sprawdzić, czy twój stos wyszukiwania potrafi przechowywać i porównywać wymiary wektorów zwracane przez model oraz czy dane wejściowe mieszczą się w kontekście 131072 tokenów.