BAAI: bge-m3

BAAI: bge-m3 is een embeddingmodel van BAAI, de Beijing Academy of Artificial Intelligence. Het behoort tot de categorie embeddings, wat betekent dat het is gebouwd om tekst om te zetten in vectoren in plaats van chatantwoorden te genereren. Als uw toepassing een model nodig heeft dat vragen beantwoordt of tekst schrijft, dan is dit niet dat soort model; het bestaat om tekst numeriek weer te geven zodat andere systemen deze kunnen vergelijken, doorzoeken en ophalen.

Het model neemt tekst als enige invoer en produceert embeddings als enige uitvoer. Volgens de provider codeert het zinnen, alinea's en lange documenten in een 1024-dimensionale dichte vectorruimte, met als doel hoogwaardige semantische embeddings te leveren. Het is geoptimaliseerd voor meertalige retrieval, semantisch zoeken en toepassingen met een grote context. Het contextvenster is 8194 tokens en de maximale uitvoer is 7374, dus redelijk lange tekstpassages kunnen in één verzoek worden gecodeerd in plaats van te worden opgesplitst in vele kleine fragmenten.

Die mogelijkheden wijzen op een duidelijke reeks praktische toepassingen. Semantisch zoeken is de meest directe: codeer uw documenten één keer, codeer de gebruikersquery op het moment van het verzoek, en rangschik documenten op vectorovereenkomst in plaats van op trefwoordoverlap. Retrieval augmented generation is een andere, waarbij bge-m3 de retrievalhelft levert door passages te vinden die semantisch dicht bij een vraag liggen, die vervolgens aan een apart generatief model worden doorgegeven. Omdat het model meertalig is, kan dezelfde index queries en documenten in verschillende talen bedienen, wat geschikt is voor cross-linguaal zoeken, deduplicatie en clustering van tekstcollecties. Het lange contextvenster helpt ook wanneer een enkel documentfragment groot is, omdat minder fragmenten minder versnippering van betekenis over vectoren betekent.

U roept het model aan via de OpenAI-compatibele API van api14 met het model-id "baai/bge-m3". Omdat de interface het OpenAI-formaat volgt, kunt u een bestaande OpenAI-client op de basis-URL van api14 richten en uw tekst naar het embeddings-endpoint sturen met dat id, zonder uw integratie te herschrijven. Het model vermeldt geen ondersteunde parameters naast wat het endpoint vereist, dus houd verzoeken eenvoudig: lever de invoertekst en het model-id en lees de geretourneerde vectoren. Er zijn hier geen sampling-instellingen zoals temperature om af te stemmen, aangezien de uitvoer deterministische embeddinggegevens zijn in plaats van gegenereerde tokens.

Eén ding om in gedachten te houden is het bereik. bge-m3 accepteert alleen tekst en retourneert alleen embeddings, dus taken zoals samenvatten, classificatie door generatie of conversationele antwoorden hebben een ander model naast zich nodig. De context van 8194 tokens is ruim voor retrievalwerk maar nog steeds eindig, dus zeer grote documenten moeten worden opgedeeld voordat ze worden gecodeerd. Binnen die grenzen is het een redelijke keuze wanneer uw probleem fundamenteel gaat over het weergeven en vergelijken van tekst.