Sentence Transformers: all-mpnet-base-v2

Sentence Transformers: all-mpnet-base-v2 è un modello di embedding di Sentence Transformers, una famiglia di modelli creata per trasformare il testo in vettori. Rientra nella categoria degli embedding, il che significa che è progettato per produrre rappresentazioni del testo anziché generare testo stesso. Il modello codifica frasi e paragrafi brevi in uno spazio vettoriale denso a 768 dimensioni, ed è posizionato dal suo fornitore come un'opzione ad alta fedeltà per il lavoro semantico.

Sul lato input, il modello accetta solo testo. Sul lato output, restituisce embedding anziché parole o messaggi di chat, quindi non ci si deve aspettare che risponda a domande o sostenga una conversazione. La lunghezza del contesto è di 512 token, e l'output massimo è 460. Entrambi i numeri contano nella pratica: la finestra di 512 token copre una frase o un paragrafo breve, e qualsiasi cosa più lunga deve essere suddivisa prima di inviarla. L'embedding restituito è un vettore a 768 dimensioni.

Queste capacità indicano un insieme di utilizzi piuttosto specifico. Il recupero di informazioni è un adattamento naturale, dove si codificano una query e un corpus e li si confronta. Il clustering è un altro, poiché le frasi che si trovano vicine nello spazio a 768 dimensioni spesso appartengono allo stesso argomento. Il punteggio di similarità deriva direttamente da questo, ad esempio classificando passaggi candidati rispetto a un riferimento, o rilevando testo quasi duplicato. Poiché il modello gestisce frasi e paragrafi brevi, queste attività funzionano meglio quando ogni input che si codifica è breve e autosufficiente.

Lo si chiama tramite l'API compatibile con OpenAI di api14, usando l'id del modello "sentence-transformers/all-mpnet-base-v2". Poiché l'interfaccia segue la forma degli embedding di OpenAI, i client e le librerie esistenti che puntano a quell'endpoint possono essere indirizzati ad api14 senza gestione speciale. Si noti che questo modello non elenca parametri supportati, quindi il corpo della richiesta dovrebbe contenere l'id del modello e il testo di input, e non ci si deve affidare all'applicazione di opzioni facoltative come dimensions o encoding format.

Il contesto di 512 token e il limite di output di 460 sono i principali limiti pratici qui. Se il testo è più lungo di una frase o di un paragrafo breve, lo si suddivida in blocchi e si codifichi ciascuno, poi si combinino i risultati. E se ciò di cui si ha realmente bisogno è testo generato anziché vettori, un modello di chat generativo si adatterà meglio; questo modello produce solo embedding.