VoyageAI by MongoDB: voyage-4-lite

voyage-4-lite, Voyage AI का एक embedding मॉडल है, जो Voyage retrieval मॉडल परिवार की कंपनी है और अब MongoDB का हिस्सा है। यह chat श्रेणी के बजाय embeddings श्रेणी में आता है, जिसका अर्थ है कि यह टेक्स्ट उत्पन्न नहीं करता। इसके बजाय, यह टेक्स्ट को vectors में बदलता है जिन्हें आप संग्रहीत और तुलना करते हैं। इसे एक हल्के, सामान्य-उद्देश्य वाले मॉडल के रूप में स्थान दिया गया है, जो कठिनतम retrieval समस्याओं पर अधिकतम सटीकता के बजाय कम विलंबता और लागत के लिए बनाया गया है।

मॉडल इनपुट के रूप में टेक्स्ट स्वीकार करता है और आउटपुट के रूप में embeddings लौटाता है। इसकी context length 32,000 tokens है, और अधिकतम आउटपुट 28,800 है, इसलिए लंबे दस्तावेज़ों को कई छोटे chunks में विभाजित किए बिना embed किया जा सकता है। Voyage AI ने इसे Matryoshka learning और quantization-aware training के साथ प्रशिक्षित किया है, जिसके कारण एक ही मॉडल 2048, 1024, 512, और 256 dimensions पर embeddings उत्पन्न कर सकता है। आप वह dimension चुनते हैं जो आपके storage और latency बजट में फिट हो, और छोटे vectors अब भी उपयोग करने योग्य रहते हैं, ध्वस्त नहीं होते।

ये गुण उपयोगों के एक काफी विशिष्ट समूह की ओर संकेत करते हैं। किसी दस्तावेज़ संग्रह पर semantic search, जहाँ आप chunks को एक बार embed करते हैं और उन्हें एक embedded प्रश्न से query करते हैं, मुख्य मामला है। वही vectors retrieval augmented generation, deduplication और near-duplicate detection, clustering और topic grouping, और classification या routing का समर्थन करते हैं जब आप किसी इनपुट की तुलना labelled उदाहरणों से करते हैं। चूँकि मॉडल 32,000 tokens का context संभालता है, आप पूरे पृष्ठों या लंबे passages को सीधे embed कर सकते हैं, जो code search, support ticket triage, और आंतरिक knowledge bases के लिए उपयुक्त है। कम dimension वाले विकल्प तब मायने रखते हैं जब आप लाखों vectors संग्रहीत कर रहे हों और index को छोटा रखना चाहते हों।

आप इसे api14 के OpenAI-compatible API के माध्यम से model id "voyageai/voyage-4-lite" का उपयोग करके कॉल करते हैं। चूँकि endpoint OpenAI embeddings आकार का अनुसरण करता है, मौजूदा clients और libraries केवल base URL और model id बदलने पर काम करते हैं। मॉडल कोई अतिरिक्त समर्थित parameters उजागर नहीं करता, इसलिए अनुरोध embeddings endpoint द्वारा स्वीकार किए जाने वाले मानक fields पर निर्भर करते हैं, जैसे इनपुट टेक्स्ट और model id। कोई sampling, temperature, या tool configuration सेट करने के लिए नहीं है, क्योंकि इनमें से कोई भी embedding मॉडल पर लागू नहीं होता।

यदि आपका कार्य टेक्स्ट जनरेशन, summarisation, या reasoning है, तो यह गलत मॉडल है और एक chat मॉडल बेहतर फिट होगा। voyage-4-lite को हल्का और सामान्य उद्देश्य वाला भी बताया गया है, इसलिए यदि आपको विशेष या अत्यधिक तकनीकी corpora पर सबसे मजबूत retrieval गुणवत्ता चाहिए, तो एक बड़ा Voyage embedding मॉडल अधिक संभावित विकल्प है।