VoyageAI by MongoDB: voyage-4-large

VoyageAI by MongoDB: voyage-4-large is een embeddingmodel van Voyage AI, een provider waarvan de modellen worden gedistribueerd onder de naam VoyageAI by MongoDB. Het valt in de categorie embeddings, wat betekent dat het is gebouwd om tekst om te zetten in vectoren in plaats van chatreacties te genereren. Als je een model kiest voor een retrieval- of similarity-pipeline, is dit het soort model dat je beoordeelt op embeddingkwaliteit in plaats van op gespreksvaardigheid.

Het model accepteert tekst als enige inputmodaliteit en retourneert embeddings als enige output. Het heeft een contextlengte van 32.000 tokens, dus een enkele aanvraag kan een redelijk lang document of een batch kortere passages bevatten. De provider beschrijft het als een state-of-the-art general-purpose en meertalige embedding, geoptimaliseerd voor retrievalkwaliteit. Het gebruikt Matryoshka learning en quantization-aware training, en het ondersteunt embeddings met 2048, 1024, 512 en 256 dimensies. De maximale output wordt vermeld als 28.800, wat de bovengrens is aan de embedding-outputzijde van een aanvraag.

Die mogelijkheden wijzen op een specifieke set use cases. Semantisch zoeken en retrieval over een documentcollectie is de meest directe toepassing, omdat het model is afgestemd op retrievalkwaliteit en lange passages kan embedden binnen de context van 32.000 tokens. Meertalige corpora zijn ook een redelijk doel, gezien de meertalige training. Omdat de embeddings kunnen worden afgekapt tot 2048, 1024, 512 of 256 dimensies, kun je vectorformaat afwegen tegen opslag en zoeksnelheid, afhankelijk van hoeveel precisie je index nodig heeft. Clustering, deduplicatie en similarity scoring over tekst zijn andere natuurlijke toepassingen, net als het bouwen van een vectorindex die een apart generatiemodel voedt.

Je roept het model aan via de OpenAI-compatibele API van api14 met het model-id "voyageai/voyage-4-large". Omdat het endpoint het OpenAI-formaat volgt, kun je een bestaande OpenAI-client op api14 richten en embeddingaanvragen versturen zonder je integratie te herschrijven. De lijst met ondersteunde parameters van het model is leeg, dus er zijn geen extra aanvraagparameters te configureren naast wat de standaard embeddingaanroep vereist. Beschouw het model-id als de enige modelspecifieke waarde die je hoeft in te stellen.

Een praktische beperking om in gedachten te houden, is dat dit model alleen tekstinvoer verwerkt en alleen embeddings produceert. Het kan geen tekst genereren, vragen beantwoorden of instructies volgen, dus elke toepassing die een geschreven antwoord nodig heeft, vereist een apart generatiemodel ernaast. De context van 32.000 tokens is ruim voor embeddingwerk, maar nog steeds eindig, dus zeer grote documenten moeten worden opgedeeld voordat ze worden ge-embed. Als je taak generatie is in plaats van retrieval, is een chat- of completionmodel de betere keuze.