Vi använder cookies. Cookies och webbläsarlagring håller dig inloggad och kommer ihåg dina preferenser. Med ditt tillstånd mäter vi också hur webbplatsen används. Du kan när som helst. Läs vår cookiepolicy.
mongodb/rerank-3-liteKörs på ditt saldo till priserna ovan. Nya konton börjar med gratis användning.
Inställningar
VoyageAI by MongoDB: rerank-3-lite är en omrankningsmodell från VoyageAI by MongoDB. Den tillhör kategorin rerank, och dess uppgift är att ta en uppsättning kandidatdokument och ordna om dem efter relevans för en fråga, snarare än att generera ny text. Den positioneras som en direkt uppgradering av rerank-2.5-lite, vilket innebär att team som redan använder den modellen kan byta till denna utan att ändra hur de integrerar den.
Modellen tar text som indata och producerar en omrankning som utdata. Den har en kontextlängd på 32 000 tokens och en maximal utdata på 28 800. Eftersom syftet är poängsättning och ordning snarare än generering, är det användbara den returnerar en relevansordning över de stycken du skickar in, och den är byggd för att balansera latens mot kvalitet. över domänutvärderingar förbättrar den rerank-2.5-lite med 0,94% NDCG@10 i genomsnitt, med ytterligare en förbättring på 1,86%. Den uppmätta vinsten gör den till en lågriskersättning där den tidigare lite-modellen redan är i produktion.
Praktiska användningsfall följer direkt av dessa förmågor. Den passar i pipeliner för retrieval augmented generation, där en första stegs retriever returnerar en bred uppsättning kandidater och omrankaren begränsar och ordnar dem innan de når en språkmodell. Den passar sökning och platsökning, där ordningen på resultaten spelar större roll än den råa matchningen. Den passar också frågebesvarande över dokumentsamlingar, interna kunskapsbaser och supportinnehåll, och alla arbetsflöden som behöver stycken sorterade efter hur väl de besvarar en specifik fråga. Den stora kontextbudgeten innebär att långa kandidatstycken kan inkluderas utan aggressiv trunkering, och betoningen på latens gör den rimlig för interaktiva applikationer snarare än bara offline-batchjobb.
Du anropar den via api14's OpenAI-kompatibla API med modell-id "mongodb/rerank-3-lite". Listan över stödda parametrar är tom, så skicka modell-id med din indata och förlita dig på standardvärdena snarare än att förvänta dig justeringsalternativ i begäran. Eftersom slutpunkten följer den OpenAI-kompatibla formen kan befintliga klientbibliotek och kodvägar riktas mot api14 och detta modell-id med minimala ändringar.
Det är värt att notera att detta är en omrankare, inte en generator. Om din uppgift är att skriva svar, sammanfatta eller hålla en konversation, är en textgenereringsmodell rätt val, och denna modell fungerar bäst som ett steg framför en sådan. Om du behöver poängsätta eller ordna text mot en fråga, är den lämplig.
import OpenAI from "openai";
const client = new OpenAI({
baseURL: "https://api14.com/api/v1",
apiKey: process.env.API14_API_KEY,
});
const result = await client.post("/rerank", { body: {
"model": "mongodb/rerank-3-lite",
"query": "What is the capital of France?",
"documents": [
"Paris is the capital of France.",
"Berlin is in Germany."
],
"top_n": 1
} });
console.log(result.results);
Den här communityn har inga trådar ännu. Starta den första om VoyageAI by MongoDB: rerank-3-lite.