Intfloat: E5-Large-v2

Intfloat: E5-Large-v2 is een embeddingsmodel van Intfloat. Het behoort tot de categorie embeddings, wat betekent dat het tekst omzet in vectoren in plaats van chatreacties te genereren. De provider beschrijft het als een model dat Engelse zinnen, paragrafen en documenten omzet in een 1024-dimensionale dichte vectorruimte, met als doel zeer nauwkeurige semantische embeddings. Als je applicatie een representatie van tekst nodig heeft die betekenis vastlegt in plaats van een geschreven antwoord, dan is dit het soort model dat je zou gebruiken.

Het model accepteert tekst als enige invoermodaliteit en produceert embeddings als enige uitvoermodaliteit. De contextlengte is 512 tokens, dus elke aanvraag is beperkt tot een tamelijk korte tekstspanne, en de maximale uitvoer is 460. Er is geen afbeelding, audio of andere niet-tekstuele invoer, en er is geen gegenereerd proza aan de uitvoerkant. Alles wat het model retourneert is een vector, die je vervolgens opslaat, vergelijkt of doorgeeft aan een volgende fase van je pipeline.

Die kenmerken wijzen op een specifieke set toepassingen. Retrieval is de duidelijkste: embed je documenten eenmalig, embed de query op het moment van de aanvraag, en vergelijk vectoren om de dichtstbijzijnde passages te vinden. Semantisch zoeken werkt op dezelfde manier, met matching op betekenis in plaats van exacte trefwoorden. De provider noemt ook reranking en similarity scoring, dus je kunt de vectoren gebruiken om kandidaatresultaten te herordenen of om te meten hoe dicht twee stukken tekst bij elkaar liggen. Omdat de vectoren 1024-dimensionaal en dicht zijn, zijn ze goed geschikt voor opslag in een vectorindex en voor cosinus- of dot-product-vergelijking.

Je roept het model aan via de OpenAI-compatibele API van api14 met het model-id "intfloat/e5-large-v2". Omdat het endpoint het OpenAI-formaat volgt, kun je een bestaande OpenAI-client op api14 richten en je tekst op de gebruikelijke manier verzenden, en vervolgens de embedding uit het antwoord lezen. Het model ondersteunt geen aanvullende aanvraagparameters, dus er is niets buiten de standaard aanvraagvelden om te configureren. Houd elke invoer binnen de contextlengte van 512 tokens, en verwacht dat de uitvoer de embedding zelf is.

De belangrijkste beperking om rekening mee te houden is dat venster van 512 tokens. Lange documenten moeten in stukken worden opgedeeld voordat ze worden ge-embed, en je zult moeten beslissen hoe je die chunk-vectoren combineert of opslaat. Het model is volgens de providerbeschrijving ook gericht op Engels, dus tekst in andere talen wordt mogelijk minder betrouwbaar ge-embed. Als je taak tekstgeneratie, conversatie of iets anders is dat een geschreven antwoord vereist, dan is een embeddingsmodel het verkeerde hulpmiddel en zou een generatief model beter passen.