Sentence Transformers: all-MiniLM-L6-v2

Sentence Transformers: all-MiniLM-L6-v2 è un modello di embedding di Sentence Transformers, elencato su api14 nella categoria embeddings. È un modello compatto di embedding di frasi, non un modello di chat o di generazione di testo, quindi il suo compito è trasformare il testo in vettori che catturano il significato. Se stai costruendo ricerca semantica, deduplicazione o clustering, questo è il tipo di modello a cui ricorri invece di uno generativo.

Il modello prende testo come input e restituisce embeddings come output. Mappa frasi e paragrafi brevi in uno spazio vettoriale denso a 384 dimensioni, ed è questo che lo rende utile per la rappresentazione semantica. La finestra di contesto è di 512 token, e l'output massimo è 460, quindi è progettato per frasi e passaggi brevi piuttosto che per documenti lunghi. Non c'è supporto per parametri di sampling o di stile generativo, perché il modello non genera testo.

Queste capacità indicano un insieme piuttosto specifico di casi d'uso. Information retrieval e ricerca semantica sono quelli ovvi: incorpora i tuoi documenti e la tua query, poi confronta i vettori per similarità. Clustering e raggruppamento per argomento funzionano bene perché vettori vicini tendono a significare cose simili. La stessa proprietà aiuta con la deduplicazione, il rilevamento di quasi duplicati e la costruzione di pipeline di raccomandazione o reranking dove serve un passo di embedding veloce e piccolo. Poiché i vettori sono solo 384 dimensioni, archiviazione e confronto restano economici su larga scala.

Lo chiami tramite l'API compatibile con OpenAI di api14 usando il model id "sentence-transformers/all-minilm-l6-v2". Poiché l'endpoint segue la forma degli embeddings di OpenAI, invii il tuo testo nel campo input e leggi il vettore dalla risposta. Il modello non elenca parametri supportati, quindi non c'è nulla in più da regolare nel corpo della richiesta oltre al model id e all'input stesso. Considera il contesto di 512 token come un confine rigido quando prepari il tuo input.

Quel limite di contesto è il principale vincolo pratico. Se la tua unità di significato è più lunga di un paragrafo breve, dovrai suddividerla in chunk prima dell'embedding, e la qualità del tuo chunking conterà più di qualsiasi altra cosa nella pipeline. Se ti serve un modello che genera testo, risponde a domande o segue istruzioni, un modello di embeddings è lo strumento sbagliato e dovresti invece guardare a un modello di chat o completion. Per la similarità semantica su frasi e passaggi brevi, questo si adatta direttamente al compito.