Sentence Transformers: all-mpnet-base-v2

Sentence Transformers: all-mpnet-base-v2 es un modelo de embeddings de Sentence Transformers, una familia de modelos creada para convertir texto en vectores. Se ubica en la categoría de embeddings, lo que significa que está diseñado para producir representaciones de texto en lugar de generar texto por sí mismo. El modelo codifica oraciones y párrafos cortos en un espacio vectorial denso de 768 dimensiones, y su proveedor lo posiciona como una opción de alta fidelidad para trabajo semántico.

En el lado de la entrada, el modelo acepta únicamente texto. En el lado de la salida, devuelve embeddings en lugar de palabras o mensajes de chat, por lo que no debes esperar que responda preguntas o mantenga una conversación. La longitud de contexto es de 512 tokens, y la salida máxima es de 460. Ambos números importan en la práctica: la ventana de 512 tokens cubre una oración o un párrafo corto, y cualquier cosa más larga debe dividirse antes de enviarla. El embedding que devuelve es un vector de 768 dimensiones.

Esas capacidades apuntan a un conjunto bastante específico de usos. La recuperación de información es un encaje natural, donde se embebe una consulta y un corpus y se comparan. El clustering es otro, ya que las oraciones que quedan cerca en el espacio de 768 dimensiones a menudo pertenecen al mismo tema. La puntuación de similitud se deriva directamente de eso, por ejemplo, clasificar pasajes candidatos contra una referencia, o detectar texto casi duplicado. Debido a que el modelo maneja oraciones y párrafos cortos, estas tareas funcionan mejor cuando cada entrada que embebes es corta y autocontenida.

Se llama a través de la API compatible con OpenAI de api14, usando el id de modelo "sentence-transformers/all-mpnet-base-v2". Debido a que la interfaz sigue la forma de embeddings de OpenAI, los clientes y bibliotecas existentes que apuntan a ese endpoint pueden dirigirse a api14 sin manejo especial. Ten en cuenta que este modelo no lista parámetros soportados, por lo que el cuerpo de la solicitud debe llevar el id del modelo y el texto de entrada, y no debes confiar en que se apliquen ajustes opcionales como dimensions o encoding format.

El contexto de 512 tokens y el límite de salida de 460 son los principales límites prácticos aquí. Si tu texto es más largo que una oración o un párrafo corto, divídelo en fragmentos y embebe cada uno, luego combina los resultados. Y si lo que realmente necesitas es texto generado en lugar de vectores, un modelo de chat generativo encajará mejor; este modelo solo produce embeddings.