VoyageAI by MongoDB: rerank-2.5

MongoDB द्वारा VoyageAI: rerank-2.5, Voyage AI का एक reranking मॉडल है, जो एक ऐसा प्रदाता है जिसके rerankers को VoyageAI by MongoDB नाम के तहत वितरित किया जाता है। यह rerank श्रेणी में आता है, जिसका अर्थ है कि इसका काम टेक्स्ट उत्पन्न करना नहीं है, बल्कि उम्मीदवार दस्तावेजों का एक सेट लेना और उन्हें किसी क्वेरी से प्रासंगिकता के आधार पर पुनः क्रमित करना है। यदि आपका एप्लिकेशन पहले से ही पैसेज, चंक्स या खोज परिणाम प्राप्त करता है और आप चाहते हैं कि सर्वोत्तम मिलान सबसे ऊपर हों, तो यह उस प्रकार का मॉडल है जिसे आप चुनेंगे।

मॉडल इनपुट के रूप में टेक्स्ट स्वीकार करता है और आउटपुट के रूप में reranking उत्पन्न करता है। इसकी संदर्भ लंबाई 32,000 टोकन है, जो एक ही अनुरोध में आपके द्वारा सबमिट की गई क्वेरी और दस्तावेजों में साझा किया जाने वाला बजट है, और अधिकतम आउटपुट 28,800 है। चूंकि आउटपुट जनरेट किया गया गद्य नहीं बल्कि एक रैंकिंग है, आपको यह अपेक्षा नहीं करनी चाहिए कि यह प्रश्नों का उत्तर देगा, सामग्री का सारांश देगा, या कोड लिखेगा। इसका पूरा योगदान आपके द्वारा प्रदान किए गए उम्मीदवारों पर एक प्रासंगिकता क्रम है।

व्यावहारिक उपयोग के मामले सीधे इसी से निकलते हैं। एक retrieval augmented generation पाइपलाइन rerank-2.5 का उपयोग तेज़ वेक्टर या कीवर्ड खोज के बाद दूसरे चरण के रूप में कर सकती है, शीर्ष उम्मीदवारों को लेकर उन्हें पुनः क्रमित कर सकती है ताकि सबसे प्रासंगिक चंक्स ही जनरेशन मॉडल को पास किए जाएं। यही पैटर्न एंटरप्राइज़ खोज, दस्तावेज़ीकरण खोज और सपोर्ट नॉलेज बेस पर भी लागू होता है, जहां पहला चरण recall को प्राथमिकता देता है और reranker precision को बहाल करता है। यह उन deduplication और prioritization कार्यों के लिए भी उपयोगी है जहां आपके पास उपयोगकर्ता को दिखाने या downstream prompt में फीड करने की क्षमता से अधिक उम्मीदवार पैसेज होते हैं।

आप इसे api14 के OpenAI-संगत API के माध्यम से मॉडल आईडी "voyageai/rerank-2.5" का उपयोग करके कॉल करते हैं। चूंकि एंडपॉइंट OpenAI स्कीमा का पालन करता है, आप एक मौजूदा OpenAI क्लाइंट को api14 के बेस URL पर इंगित कर सकते हैं और model फ़ील्ड में यह आईडी पास कर सकते हैं। मॉडल की समर्थित पैरामीटर सूची खाली है, इसलिए rerank अनुरोध की अपनी आवश्यकताओं, जैसे क्वेरी और स्कोर किए जाने वाले दस्तावेजों, से परे कोई अतिरिक्त ट्यूनिंग विकल्प सेट करने के लिए नहीं हैं। अनुरोधों को 32,000 टोकन संदर्भ के भीतर रखें, यह याद रखते हुए कि क्वेरी और प्रत्येक उम्मीदवार दस्तावेज़ उस कुल में गिने जाते हैं।

इस प्रश्न पर कि कब कहीं और देखना चाहिए: rerank-2.5 केवल टेक्स्ट संभालता है और केवल एक रैंकिंग लौटाता है, इसलिए जिन कार्यों में इमेज इनपुट, ऑडियो या जनरेट किया गया आउटपुट चाहिए, वे इसके दायरे से बाहर हैं और किसी भिन्न मॉडल के लिए हैं। यदि आपको एक ही मॉडल से दोनों retrieve और उत्तर चाहिए, तो एक जनरेशन मॉडल बेहतर फिट है, और rerank-2.5 को वैकल्पिक रूप से उसके सामने precision चरण के रूप में रखा जा सकता है।