VoyageAI by MongoDB: voyage-4-large

VoyageAI by MongoDB: voyage-4-large ist ein Embedding-Modell von Voyage AI, einem Anbieter, dessen Modelle unter dem Namen VoyageAI by MongoDB vertrieben werden. Es gehört zur Kategorie der Embeddings, was bedeutet, dass es darauf ausgelegt ist, Text in Vektoren umzuwandeln, statt Chat-Antworten zu generieren. Wenn Sie ein Modell für eine Retrieval- oder Ähnlichkeits-Pipeline auswählen, ist dies die Art von Modell, die Sie anhand der Embedding-Qualität bewerten und nicht anhand der Konversationsfähigkeit.

Das Modell akzeptiert Text als einzige Eingabemodalität und gibt Embeddings als einzige Ausgabe zurück. Es hat eine Kontextlänge von 32.000 Tokens, sodass eine einzelne Anfrage ein ziemlich langes Dokument oder einen Stapel kürzerer Passagen abdecken kann. Der Anbieter beschreibt es als ein hochmodernes Allzweck- und mehrsprachiges Embedding, das für Retrieval-Qualität optimiert ist. Es verwendet Matryoshka-Lernen und quantisierungsbewusstes Training und unterstützt Embeddings mit 2048, 1024, 512 und 256 Dimensionen. Die maximale Ausgabe ist mit 28.800 angegeben, was die Obergrenze auf der Embedding-Ausgabeseite einer Anfrage darstellt.

Diese Fähigkeiten deuten auf eine bestimmte Gruppe von Anwendungsfällen hin. Semantische Suche und Retrieval über eine Dokumentensammlung ist die direkteste Passung, da das Modell auf Retrieval-Qualität abgestimmt ist und lange Passagen innerhalb des Kontexts von 32.000 Tokens einbetten kann. Mehrsprachige Korpora sind angesichts des mehrsprachigen Trainings ebenfalls ein sinnvolles Ziel. Da die Embeddings auf 2048, 1024, 512 oder 256 Dimensionen gekürzt werden können, können Sie die Vektorgröße gegen Speicher- und Suchgeschwindigkeit abwägen, je nachdem, wie viel Präzision Ihr Index benötigt. Clustering, Deduplizierung und Ähnlichkeitsbewertung über Text sind weitere natürliche Anwendungen, ebenso wie der Aufbau eines Vektorindex, der ein separates Generierungsmodell speist.

Sie rufen das Modell über die OpenAI-kompatible API von api14 mit der Modell-ID "voyageai/voyage-4-large" auf. Da der Endpunkt dem OpenAI-Format folgt, können Sie einen vorhandenen OpenAI-Client auf api14 ausrichten und Embedding-Anfragen senden, ohne Ihre Integration umzuschreiben. Die Liste der unterstützten Parameter des Modells ist leer, es gibt also keine zusätzlichen Anfrageparameter zu konfigurieren, die über das hinausgehen, was der standardmäßige Embedding-Aufruf erfordert. Betrachten Sie die Modell-ID als den einzigen modellspezifischen Wert, den Sie festlegen müssen.

Eine praktische Einschränkung sollten Sie beachten: Dieses Modell verarbeitet nur Texteingaben und erzeugt nur Embeddings. Es kann keinen Text generieren, keine Fragen beantworten und keine Anweisungen befolgen, daher benötigt jede Anwendung, die eine schriftliche Antwort erfordert, ein separates Generierungsmodell daneben. Der Kontext von 32.000 Tokens ist großzügig für Embedding-Arbeit, aber dennoch endlich, sodass sehr große Dokumente vor dem Einbetten aufgeteilt werden müssen. Wenn Ihre Aufgabe die Generierung statt des Retrievals ist, ist ein Chat- oder Completion-Modell die bessere Wahl.