Sentence Transformers: all-mpnet-base-v2

Sentence Transformers: all-mpnet-base-v2 is een embeddingmodel van Sentence Transformers, een familie van modellen die gebouwd is om tekst om te zetten in vectoren. Het valt in de categorie embeddings, wat betekent dat het ontworpen is om representaties van tekst te produceren in plaats van zelf tekst te genereren. Het model codeert zinnen en korte paragrafen naar een 768-dimensionale dichte vectorruimte, en het wordt door de aanbieder gepositioneerd als een hoogwaardige optie voor semantisch werk.

Aan de invoerkant accepteert het model alleen tekst. Aan de uitvoerkant retourneert het embeddings in plaats van woorden of chatberichten, dus je moet niet verwachten dat het vragen beantwoordt of een gesprek voert. De contextlengte is 512 tokens, en de maximale uitvoer is 460. Beide getallen zijn in de praktijk belangrijk: het venster van 512 tokens dekt een zin of een korte paragraaf, en alles wat langer is moet worden opgesplitst voordat je het verstuurt. De embedding die het retourneert is een 768-dimensionale vector.

Die mogelijkheden wijzen op een tamelijk specifieke set toepassingen. Information retrieval is een natuurlijke match, waarbij je een query en een corpus embedt en ze vergelijkt. Clustering is een andere, aangezien zinnen die dicht bij elkaar liggen in de 768-dimensionale ruimte vaak tot hetzelfde onderwerp behoren. Similarity scoring volgt daar direct uit, bijvoorbeeld het rangschikken van kandidaatpassages tegen een referentie, of het detecteren van bijna-duplicaattekst. Omdat het model zinnen en korte paragrafen verwerkt, werken deze taken het beste wanneer elke invoer die je embedt kort en op zichzelf staand is.

Je roept het aan via de OpenAI-compatibele API van api14, met het model-id "sentence-transformers/all-mpnet-base-v2". Omdat de interface de vorm van OpenAI embeddings volgt, kunnen bestaande clients en bibliotheken die op dat endpoint zijn gericht naar api14 worden gewezen zonder speciale aanpassing. Let op dat dit model geen ondersteunde parameters vermeldt, dus de request body moet het model-id en de invoertekst bevatten, en je moet er niet op rekenen dat optionele instellingen zoals dimensions of encoding format worden toegepast.

De context van 512 tokens en de uitvoerlimiet van 460 zijn hier de belangrijkste praktische beperkingen. Als je tekst langer is dan een zin of een korte paragraaf, splits deze dan in stukken en embed elk stuk, en combineer daarna de resultaten. En als je eigenlijk gegenereerde tekst nodig hebt in plaats van vectoren, past een generatief chatmodel beter; dit model produceert alleen embeddings.