Intfloat: E5-Large-v2

Intfloat: E5-Large-v2 ist ein Embeddings-Modell von Intfloat. Es gehört zur Kategorie der Embeddings, was bedeutet, dass seine Aufgabe darin besteht, Text in Vektoren umzuwandeln, statt Chat-Antworten zu generieren. Der Anbieter beschreibt es als ein Modell, das englische Sätze, Absätze und Dokumente in einen 1024-dimensionalen dichten Vektorraum abbildet, mit dem Ziel hochgenauer semantischer Embeddings. Wenn Ihre Anwendung eine Repräsentation von Text benötigt, die Bedeutung erfasst statt eine geschriebene Antwort, dann ist dies die Art von Modell, zu der Sie greifen würden.

Das Modell akzeptiert Text als einzige Eingabemodalität und erzeugt Embeddings als einzige Ausgabemodalität. Seine Kontextlänge beträgt 512 Tokens, sodass jede Anfrage auf eine ziemlich kurze Textspanne begrenzt ist, und die maximale Ausgabe beträgt 460. Es gibt keine Bild-, Audio- oder sonstige nicht-textuelle Eingabe, und es gibt keinen generierten Fließtext auf der Ausgabeseite. Alles, was das Modell zurückgibt, ist ein Vektor, den Sie dann speichern, vergleichen oder in eine weitere Stufe Ihrer Pipeline einspeisen.

Diese Eigenschaften deuten auf eine bestimmte Gruppe von Einsatzmöglichkeiten hin. Retrieval ist die klarste: Betten Sie Ihre Dokumente einmal ein, betten Sie die Anfrage zur Anfragezeit ein und vergleichen Sie Vektoren, um die nächstgelegenen Passagen zu finden. Semantische Suche funktioniert auf dieselbe Weise und gleicht auf Bedeutung statt auf exakte Schlüsselwörter ab. Der Anbieter listet außerdem Reranking und Ähnlichkeitsbewertung auf, sodass Sie die Vektoren verwenden können, um Kandidatenergebnisse neu zu ordnen oder zu messen, wie nahe zwei Textstücke beieinander liegen. Da die Vektoren 1024-dimensional und dicht sind, eignen sie sich gut zur Speicherung in einem Vektorindex und für Kosinus- oder Skalarproduktvergleiche.

Sie rufen das Modell über die OpenAI-kompatible API von api14 mit der Modell-ID "intfloat/e5-large-v2" auf. Da der Endpunkt dem OpenAI-Format folgt, können Sie einen vorhandenen OpenAI-Client auf api14 ausrichten, Ihren Text auf die übliche Weise senden und dann das Embedding aus der Antwort auslesen. Das Modell unterstützt keine zusätzlichen Anfrageparameter, sodass es über die Standardanfragefelder hinaus nichts zu konfigurieren gibt. Halten Sie jede Eingabe innerhalb der 512-Token-Kontextlänge und erwarten Sie, dass die Ausgabe das Embedding selbst ist.

Die wichtigste Einschränkung, um die Sie planen sollten, ist dieses 512-Token-Fenster. Lange Dokumente müssen vor dem Einbetten in Abschnitte aufgeteilt werden, und Sie müssen entscheiden, wie Sie diese Abschnittsvektoren kombinieren oder speichern. Das Modell ist laut Anbieterbeschreibung außerdem auf Englisch ausgerichtet, sodass Text in anderen Sprachen möglicherweise nicht so zuverlässig eingebettet wird. Wenn Ihre Aufgabe Textgenerierung, Konversation oder irgendetwas ist, das eine geschriebene Antwort erfordert, dann ist ein Embeddings-Modell das falsche Werkzeug und ein generatives Modell würde besser passen.