Sentence Transformers: all-MiniLM-L6-v2

Sentence Transformers: all-MiniLM-L6-v2 is een embeddingmodel van Sentence Transformers, vermeld op api14 onder de categorie embeddings. Het is een compact zin-embeddingmodel in plaats van een chat- of tekstgeneratiemodel, dus het doel is om tekst om te zetten in vectoren die betekenis vastleggen. Als je semantisch zoeken, deduplicatie of clustering bouwt, is dit het soort model waarnaar je grijpt in plaats van een generatief model.

Het model neemt tekst als invoer en retourneert embeddings als uitvoer. Het beeldt zinnen en korte paragrafen af in een 384-dimensionale dichte vectorruimte, wat het nuttig maakt voor semantische representatie. Het contextvenster is 512 tokens, en de maximale uitvoer is 460, dus het is ontworpen voor zinnen en korte passages in plaats van lange documenten. Er is geen ondersteuning voor sampling- of generatiestijlparameters, omdat het model geen tekst genereert.

Die mogelijkheden wijzen op een vrij specifieke set use cases. Information retrieval en semantisch zoeken zijn de voor de hand liggende: embed je documenten en je query, en vergelijk vervolgens vectoren op gelijkenis. Clustering en topicgroepering werken goed omdat nabije vectoren doorgaans vergelijkbare betekenissen aanduiden. Dezelfde eigenschap helpt bij deduplicatie, detectie van bijna-duplicaten en het bouwen van aanbevelings- of rerankingpijplijnen waar je een snelle, kleine embeddingstap nodig hebt. Omdat de vectoren slechts 384 dimensies hebben, blijven opslag en vergelijking goedkoop op schaal.

Je roept het aan via de OpenAI-compatibele API van api14 met het model-id "sentence-transformers/all-minilm-l6-v2". Omdat het endpoint de vorm van OpenAI embeddings volgt, stuur je je tekst in het input-veld en lees je de vector terug uit de response. Het model vermeldt geen ondersteunde parameters, dus er is niets extra's af te stemmen in de request body naast het model-id en de input zelf. Behandel de context van 512 tokens als een harde grens bij het voorbereiden van je input.

Die contextlimiet is de belangrijkste praktische beperking. Als je betekenisvolle eenheid langer is dan een korte paragraaf, moet je deze opsplitsen in chunks voordat je embedt, en de kwaliteit van je chunking zal meer uitmaken dan wat dan ook in de pijplijn. Als je een model nodig hebt dat tekst genereert, vragen beantwoordt of instructies volgt, is een embeddingsmodel het verkeerde hulpmiddel en kun je beter naar een chat- of completionmodel kijken. Voor semantische gelijkenis over zinnen en korte passages past deze direct bij de taak.