NVIDIA: Llama Nemotron Embed VL 1B V2 (free)

Llama Nemotron Embed VL 1B V2, NVIDIA का एक embedding मॉडल है, जिसे api14 पर मॉडल आईडी nvidia/llama-nemotron-embed-vl-1b-v2:free के तहत वितरित किया गया है। यह embeddings श्रेणी में आता है, और इसका बताया गया उद्देश्य multimodal question-answering retrieval है। यह 1B श्रेणी का मॉडल है, जो इसे Nemotron परिवार के छोटे विकल्पों में रखता है, और यहाँ इसे मुफ़्त variant में पेश किया गया है।

मॉडल इनपुट के रूप में टेक्स्ट और छवियाँ स्वीकार करता है और आउटपुट के रूप में embeddings उत्पन्न करता है। यह दस्तावेज़ों को तीन रूपों में embed कर सकता है: केवल छवि, केवल टेक्स्ट, या छवि और टेक्स्ट एक साथ। यह लचीलापन इसके डिज़ाइन का मूल है, क्योंकि retrieval सिस्टम को अक्सर एक टेक्स्ट प्रश्न को किसी पृष्ठ की छवि, स्क्रीनशॉट, आरेख, या गद्य के अंश से मिलाना पड़ता है। context window 131072 tokens है, और अधिकतम आउटपुट 117964 है, इसलिए लंबे दस्तावेज़ों को कई टुकड़ों में विभाजित किए बिना embed किया जा सकता है।

व्यावहारिक उपयोग multimodal retrieval से निकलते हैं। स्कैन किए गए दस्तावेज़ों, PDFs, उत्पाद छवियों, या मिश्रित मीडिया ज्ञान आधारों पर question-answering सिस्टम बनाने वाली टीम प्रत्येक आइटम को एक बार embed कर सकती है और फिर टेक्स्ट क्वेरी के विरुद्ध similarity search चला सकती है। चूँकि छवि और टेक्स्ट को संयुक्त रूप से embed किया जा सकता है, वही index चार्ट के बारे में क्वेरी और उसके बगल वाले अनुच्छेद के बारे में क्वेरी, दोनों को सेवा दे सकता है, जिससे दृश्य और पाठ्य सामग्री के लिए अलग pipelines बनाए रखने से बचा जाता है। यह उन संग्रहों पर deduplication, clustering, और recommendation के लिए भी उपयुक्त है जिनमें स्क्रीनशॉट लिखित सामग्री के साथ मिश्रित हैं।

इसे api14 के माध्यम से कॉल करने के लिए, मॉडल आईडी nvidia/llama-nemotron-embed-vl-1b-v2:free के साथ OpenAI-संगत embeddings endpoint का उपयोग करें। मॉडल कोई समर्थित parameters सूचीबद्ध नहीं करता, इसलिए अनुरोधों को temperature या top_p जैसे sampling नियंत्रणों पर निर्भर रहने के बजाय endpoint द्वारा आवश्यक मानक फ़ील्ड पर निर्भर रहना चाहिए, जो embedding मॉडलों पर लागू नहीं होते। अपना इनपुट सामान्य embeddings अनुरोध आकार में भेजें और प्रतिक्रिया से vector वापस पढ़ें।

एक बात ध्यान में रखनी चाहिए कि यह एक embedding मॉडल है, chat या generation मॉडल नहीं, इसलिए यह प्रश्नों का उत्तर नहीं देगा या टेक्स्ट नहीं लिखेगा। यदि आपका कार्य generation, reasoning, या conversation है, तो कोई भिन्न मॉडल सही चुनाव है। यह जाँचना भी उचित है कि आपका retrieval stack मॉडल द्वारा लौटाए गए vector dimensions को संग्रहीत और तुलना कर सकता है, और यह कि आपके इनपुट 131072 token context के भीतर फिट होते हैं।