Sentence Transformers: all-MiniLM-L6-v2

Sentence Transformers: all-MiniLM-L6-v2 är en inbäddningsmodell från Sentence Transformers, listad på api14 under kategorin embeddings. Det är en kompakt meningsinbäddningsmodell snarare än en chatt- eller textgenereringsmodell, så dess uppgift är att omvandla text till vektorer som fångar betydelse. Om du bygger semantisk sökning, deduplicering eller klustring är det här den typen av modell du tar till snarare än en generativ sådan.

Modellen tar text som indata och returnerar inbäddningar som utdata. Den mappar meningar och korta stycken till ett 384-dimensionellt tätt vektorrum, vilket är det som gör den användbar för semantisk representation. Kontextfönstret är 512 tokens, och maximal utdata är 460, så den är utformad för meningar och korta avsnitt snarare än långa dokument. Det finns inget stöd för sampling eller parametrar av genereringsstil, eftersom modellen inte genererar text.

Dessa förmågor pekar mot en ganska specifik uppsättning användningsfall. Informationssökning och semantisk sökning är de uppenbara: bädda in dina dokument och din fråga, jämför sedan vektorer efter likhet. Klustring och ämnesgruppering fungerar bra eftersom närliggande vektorer tenderar att betyda liknande saker. Samma egenskap hjälper till med deduplicering, detektering av nästan dubbletter och att bygga rekommendations- eller omrankningspipelines där du behöver ett snabbt, litet inbäddningssteg. Eftersom vektorerna bara är 384 dimensioner förblir lagring och jämförelse billiga i stor skala.

Du anropar den via api14:s OpenAI-kompatibla API med modell-id:t "sentence-transformers/all-minilm-l6-v2". Eftersom slutpunkten följer OpenAI:s inbäddningsform skickar du din text i fältet input och läser tillbaka vektorn från svaret. Modellen listar inga parametrar som stöds, så det finns inget extra att justera i förfrågans brödtext utöver modell-id:t och själva indata. Betrakta kontexten på 512 tokens som en hård gräns när du förbereder din indata.

Den kontextgränsen är den främsta praktiska begränsningen. Om din betydelseenhet är längre än ett kort stycke behöver du dela upp den i bitar innan inbäddning, och kvaliteten på din uppdelning kommer att spela större roll än något annat i pipelinen. Om du behöver en modell som genererar text, svarar på frågor eller följer instruktioner är en inbäddningsmodell fel verktyg och du bör i stället titta på en chatt- eller kompletteringsmodell. För semantisk likhet över meningar och korta avsnitt passar den här direkt för uppgiften.