VoyageAI by MongoDB: voyage-4-lite

voyage-4-lite ist ein Embedding-Modell von Voyage AI, dem Unternehmen hinter der Voyage-Familie von Retrieval-Modellen, das jetzt Teil von MongoDB ist. Es gehört zur Kategorie der Embeddings und nicht zu der der Chat-Modelle, was bedeutet, dass es keinen Text generiert. Stattdessen wandelt es Text in Vektoren um, die Sie speichern und vergleichen. Es ist als leichtgewichtiges Allzweckmodell positioniert, das auf niedrige Latenz und Kosten ausgelegt ist und nicht auf maximale Genauigkeit bei den schwierigsten Retrieval-Problemen.

Das Modell akzeptiert Text als Eingabe und gibt Embeddings als Ausgabe zurück. Seine Kontextlänge beträgt 32.000 Tokens, und die maximale Ausgabe beträgt 28.800, sodass lange Dokumente eingebettet werden können, ohne sie in viele kleine Abschnitte aufzuteilen. Voyage AI hat es mit Matryoshka-Lernen und quantisierungsbewusstem Training trainiert, was es einem einzelnen Modell ermöglicht, Embeddings mit 2048, 1024, 512 und 256 Dimensionen zu erzeugen. Sie wählen die Dimension, die zu Ihrem Speicher- und Latenzbudget passt, und kürzere Vektoren bleiben nutzbar, statt zusammenzubrechen.

Diese Eigenschaften deuten auf eine ziemlich spezifische Gruppe von Anwendungen hin. Die semantische Suche über eine Dokumentensammlung, bei der Sie Abschnitte einmal einbetten und sie dann mit einer eingebetteten Frage abfragen, ist der Kernfall. Dieselben Vektoren unterstützen Retrieval Augmented Generation, Deduplizierung und Near-Duplicate-Erkennung, Clustering und Themen gruppierung sowie Klassifizierung oder Routing, wenn Sie eine Eingabe mit beschrifteten Beispielen vergleichen. Da das Modell 32.000 Tokens Kontext verarbeitet, können Sie ganze Seiten oder lange Passagen direkt einbetten, was für Codesuche, die Triagierung von Support-Tickets und interne Wissensdatenbanken geeignet ist. Die Optionen mit niedrigeren Dimensionen sind wichtig, wenn Sie Millionen von Vektoren speichern und den Index klein halten möchten.

Sie rufen es über die OpenAI-kompatible API von api14 mit der Modell-ID "voyageai/voyage-4-lite" auf. Da der Endpunkt der Form der OpenAI-Embeddings folgt, funktionieren bestehende Clients und Bibliotheken, wenn nur die Basis-URL und die Modell-ID geändert werden. Das Modell bietet keine zusätzlichen unterstützten Parameter, daher stützen sich Anfragen auf die Standardfelder, die der Embeddings-Endpunkt akzeptiert, wie den Eingabetext und die Modell-ID. Es gibt kein Sampling, keine Temperatur und keine Tool-Konfiguration, da nichts davon auf ein Embedding-Modell zutrifft.

Wenn Ihre Aufgabe Textgenerierung, Zusammenfassung oder Schlussfolgerung ist, ist dies das falsche Modell, und ein Chat-Modell passt besser. voyage-4-lite wird außerdem als leichtgewichtig und für allgemeine Zwecke beschrieben. Wenn Sie die stärkste Retrieval-Qualität bei spezialisierten oder hochtechnischen Korpora benötigen, ist ein größeres Voyage-Embedding-Modell die wahrscheinlichere Wahl.