Intfloat: Multilingual-E5-Large

Intfloat: Multilingual-E5-Large is een embeddingmodel van Intfloat, vermeld op api14 onder de categorie embeddings. Het neemt tekst als invoer en retourneert embeddings als uitvoer, dus het is geen chat- of tekstgeneratiemodel. Het doel is om taal om te zetten in vectoren die je kunt opslaan, vergelijken en doorzoeken. De provider beschrijft het als het coderen van zinnen, paragrafen en documenten in meer dan 90 talen naar een 1024-dimensionale dichte vectorruimte, met semantische embeddings die zijn afgestemd op meertalige retrieval en cross-linguale gelijkenis.

Het contextvenster is 512 tokens en de maximale uitvoer is 460. Omdat de invoer tekst is en de uitvoer een vector is in plaats van gegenereerde woorden, is er geen samplinggedrag om af te stemmen: het model accepteert geen ondersteunde parameters, dus verzoeken bevatten je invoer en verder niets aan generatie-instellingen. De limiet van 512 tokens betekent dat elke aanroep moet worden beperkt tot een zin, een korte paragraaf of een vergelijkbaar groot stuk, in plaats van een lang document dat in zijn geheel wordt doorgegeven.

De praktische toepassingen volgen uit die vorm. Meertalige retrieval is de belangrijkste: indexeer documenten in een of meerdere talen en doorzoek ze met queries in een andere taal. Cross-linguale gelijkenis laat je tekst die in verschillende talen is geschreven vergelijken of clusteren in dezelfde vectorruimte. Verwante toepassingen zijn semantisch zoeken in een meertalig corpus, deduplicatie van bijna identieke passages, routering of classificatie op basis van hoe dicht een stuk tekst bij referentievoorbeelden ligt, en het bouwen van retrievallagen die een apart generatiemodel voeden.

Je roept het aan via de OpenAI-compatibele API van api14 met het model-id "intfloat/multilingual-e5-large". Omdat het endpoint de vorm van OpenAI embeddings volgt, zouden bestaande clientbibliotheken en code die al naar een OpenAI-compatibele base URL wijzen moeten werken met alleen het model-id gewijzigd. Stuur je tekst als input en lees de vector terug uit de respons. Er worden geen extra verzoekparameters ondersteund, dus houd het verzoek minimaal en laat het model de embedding retourneren.

De context van 512 tokens is de belangrijkste beperking om rekening mee te houden. Lange documenten moeten in stukken worden gesplitst voordat ze worden ge-embed, en elke pipeline die een groter venster veronderstelt, of die gegenereerde tekst terug verwacht, heeft een ander model nodig. Als je taak generatie, samenvatting of conversatie is in plaats van representatie, is een instruct- of chatmodel op api14 beter geschikt; dit model is bedoeld om tekst om te zetten in vectoren.