VoyageAI by MongoDB: voyage-4-lite

voyage-4-lite is een embeddingmodel van Voyage AI, het bedrijf achter de Voyage-familie van retrievalmodellen, nu onderdeel van MongoDB. Het valt in de categorie embeddings en niet in de categorie chat, wat betekent dat het geen tekst genereert. In plaats daarvan zet het tekst om in vectoren die je opslaat en vergelijkt. Het is gepositioneerd als een lichtgewicht, algemeen model, gebouwd voor lage latentie en kosten in plaats van maximale nauwkeurigheid bij de moeilijkste retrievalproblemen.

Het model accepteert tekst als invoer en retourneert embeddings als uitvoer. De contextlengte is 32.000 tokens en de maximale uitvoer is 28.800, zodat lange documenten kunnen worden ge-embed zonder ze in veel kleine stukken te splitsen. Voyage AI heeft het getraind met Matryoshka learning en quantization-aware training, waardoor één model embeddings kan produceren met 2048, 1024, 512 en 256 dimensies. Je kiest de dimensie die past bij je opslag- en latentiebudget, en kortere vectoren blijven bruikbaar in plaats van in te storten.

Die eigenschappen wijzen op een tamelijk specifieke set toepassingen. Semantisch zoeken in een documentverzameling, waarbij je stukken één keer embedt en ze bevraagt met een ge-embedde vraag, is het kernscenario. Dezelfde vectoren ondersteunen retrieval augmented generation, deduplicatie en detectie van bijna-duplicaten, clustering en topicgroepering, en classificatie of routering wanneer je een invoer vergelijkt met gelabelde voorbeelden. Omdat het model 32.000 tokens context aankan, kun je hele pagina's of lange passages direct embedden, wat geschikt is voor codezoekopdrachten, triage van supporttickets en interne kennisbanken. De opties met lagere dimensies zijn van belang wanneer je miljoenen vectoren opslaat en de index klein wilt houden.

Je roept het aan via de OpenAI-compatibele API van api14 met het model-id "voyageai/voyage-4-lite". Omdat het endpoint de vorm van OpenAI-embeddings volgt, werken bestaande clients en bibliotheken met alleen een gewijzigde base URL en model-id. Het model biedt geen extra ondersteunde parameters, dus verzoeken vertrouwen op de standaardvelden die het embeddings-endpoint accepteert, zoals de invoertekst en het model-id. Er zijn geen sampling-, temperatuur- of toolconfiguraties in te stellen, omdat niets daarvan van toepassing is op een embeddingmodel.

Als je taak tekstgeneratie, samenvatting of redeneren is, dan is dit het verkeerde model en past een chatmodel beter. voyage-4-lite wordt ook beschreven als lichtgewicht en algemeen, dus als je de sterkste retrievalkwaliteit nodig hebt op gespecialiseerde of zeer technische corpora, is een groter Voyage-embeddingmodel de meer waarschijnlijke keuze.