Używamy plików cookie. Pliki cookie i pamięć przeglądarki pozwalają utrzymać logowanie i zapamiętać Twoje preferencje. Za Twoją zgodą mierzymy też, jak korzystasz ze strony. W każdej chwili możesz . Zobacz naszą politykę cookie.
mongodb/rerank-3-liteKorzysta z Twojego salda według powyższych cen. Nowe konta zaczynają z darmowym użyciem.
Ustawienia
VoyageAI by MongoDB: rerank-3-lite to model rerankingu od VoyageAI by MongoDB. Należy do kategorii rerank, a jego zadaniem jest przyjęcie zestawu dokumentów kandydujących i ponowne uporządkowanie ich według trafności względem zapytania, a nie generowanie nowego tekstu. Jest pozycjonowany jako bezpośredni zamiennik ulepszający rerank-2.5-lite, co oznacza, że zespoły już korzystające z tego modelu mogą przejść na ten bez zmiany sposobu integracji.
Model przyjmuje tekst jako dane wejściowe i zwraca reranking jako dane wyjściowe. Ma długość kontekstu 32 000 tokenów i maksymalne wyjście 28 800. Ponieważ jego celem jest ocenianie i porządkowanie, a nie generowanie, użytecznym wynikiem, który zwraca, jest uporządkowanie trafności dostarczonych fragmentów, a został zbudowany tak, aby równoważyć opóźnienie i jakość. W ocenach domenowych poprawia rerank-2.5-lite średnio o 0,94% NDCG@10, z dalszą poprawą o 1,86%. Ten zmierzony zysk czyni go niskiego ryzyka zamiennikiem tam, gdzie wcześniejszy model lite jest już używany produkcyjnie.
Praktyczne przypadki użycia wynikają bezpośrednio z tych możliwości. Pasuje do potoków generowania wspomaganego wyszukiwaniem, gdzie pierwszy etap wyszukiwania zwraca szeroki zestaw kandydatów, a reranker zawęża i porządkuje ich, zanim trafią do modelu językowego. Nadaje się do wyszukiwania i wyszukiwania w witrynie, gdzie kolejność wyników ma większe znaczenie niż samo dopasowanie. Pasuje również do odpowiadania na pytania na podstawie kolekcji dokumentów, wewnętrznych baz wiedzy i treści wsparcia oraz do każdego przepływu pracy, który wymaga posortowania fragmentów według tego, jak dobrze odpowiadają na konkretne zapytanie. Duży budżet kontekstu oznacza, że długie fragmenty kandydujące można uwzględnić bez agresywnego obcinania, a nacisk na opóźnienie czyni go rozsądnym dla aplikacji interaktywnych, a nie tylko wsadowych zadań offline.
Wywołujesz go przez API zgodne z OpenAI w api14, używając identyfikatora modelu "mongodb/rerank-3-lite". Lista obsługiwanych parametrów jest pusta, więc przekaż identyfikator modelu ze swoim wejściem i polegaj na wartościach domyślnych, zamiast oczekiwać opcji dostrajania w żądaniu. Ponieważ punkt końcowy ma kształt zgodny z OpenAI, istniejące biblioteki klienckie i ścieżki kodu można skierować na api14 i ten identyfikator modelu przy minimalnych zmianach.
Warto zauważyć, że to reranker, a nie generator. Jeśli twoim zadaniem jest pisanie odpowiedzi, streszczanie lub prowadzenie rozmowy, właściwym wyborem jest model generowania tekstu, a ten model działa najlepiej jako etap przed nim. Jeśli potrzebujesz ocenić lub uporządkować tekst względem zapytania, jest to odpowiedni wybór.
import OpenAI from "openai";
const client = new OpenAI({
baseURL: "https://api14.com/api/v1",
apiKey: process.env.API14_API_KEY,
});
const result = await client.post("/rerank", { body: {
"model": "mongodb/rerank-3-lite",
"query": "What is the capital of France?",
"documents": [
"Paris is the capital of France.",
"Berlin is in Germany."
],
"top_n": 1
} });
console.log(result.results);
Ta społeczność nie ma jeszcze wątków. Załóż pierwszy wątek o VoyageAI by MongoDB: rerank-3-lite.