Sentence Transformers: all-mpnet-base-v2

Sentence Transformers: all-mpnet-base-v2 ist ein Embedding-Modell von Sentence Transformers, einer Familie von Modellen, die darauf ausgelegt ist, Text in Vektoren umzuwandeln. Es gehört zur Kategorie der Embeddings, was bedeutet, dass es darauf ausgelegt ist, Repräsentationen von Text zu erzeugen, statt selbst Text zu generieren. Das Modell kodiert Sätze und kurze Absätze in einen 768-dimensionalen dichten Vektorraum, und es wird von seinem Anbieter als hochpräzise Option für semantische Aufgaben positioniert.

Auf der Eingabeseite akzeptiert das Modell nur Text. Auf der Ausgabeseite liefert es Embeddings statt Wörter oder Chat-Nachrichten, daher sollten Sie nicht erwarten, dass es Fragen beantwortet oder ein Gespräch führt. Die Kontextlänge beträgt 512 Token, und die maximale Ausgabe beträgt 460. Beide Zahlen sind in der Praxis wichtig: Das Fenster von 512 Token deckt einen Satz oder einen kurzen Absatz ab, und alles Längere muss aufgeteilt werden, bevor Sie es senden. Das zurückgegebene Embedding ist ein 768-dimensionaler Vektor.

Diese Fähigkeiten deuten auf eine recht spezifische Gruppe von Anwendungen hin. Information Retrieval passt natürlich dazu, wobei Sie eine Anfrage und einen Korpus einbetten und sie vergleichen. Clustering ist eine weitere, da Sätze, die im 768-dimensionalen Raum nahe beieinander liegen, oft zum selben Thema gehören. Ähnlichkeitsbewertung folgt direkt daraus, zum Beispiel das Ranken von Kandidatenpassagen gegen eine Referenz oder das Erkennen von nahezu doppeltem Text. Da das Modell Sätze und kurze Absätze verarbeitet, funktionieren diese Aufgaben am besten, wenn jede Eingabe, die Sie einbetten, kurz und in sich geschlossen ist.

Sie rufen es über die OpenAI-kompatible API von api14 auf, mit der Modell-ID "sentence-transformers/all-mpnet-base-v2". Da die Schnittstelle der OpenAI-Embeddings-Form folgt, können bestehende Clients und Bibliotheken, die auf diesen Endpunkt abzielen, ohne besondere Anpassung auf api14 gerichtet werden. Beachten Sie, dass dieses Modell keine unterstützten Parameter auflistet, daher sollte der Request-Body die Modell-ID und den Eingabetext enthalten, und Sie sollten sich nicht darauf verlassen, dass optionale Einstellungen wie dimensions oder encoding format angewendet werden.

Der Kontext von 512 Token und die Obergrenze von 460 bei der Ausgabe sind hier die wichtigsten praktischen Grenzen. Wenn Ihr Text länger als ein Satz oder ein kurzer Absatz ist, teilen Sie ihn in Abschnitte auf und betten Sie jeden einzelnen ein, und kombinieren Sie dann die Ergebnisse. Und wenn Sie tatsächlich generierten Text statt Vektoren benötigen, passt ein generatives Chat-Modell besser; dieses Modell erzeugt nur Embeddings.