Intfloat: E5-Large-v2

Intfloat: E5-Large-v2 es un modelo de embeddings de Intfloat. Pertenece a la categoría de embeddings, lo que significa que su función es convertir texto en vectores en lugar de generar respuestas de chat. El proveedor lo describe como un modelo que mapea oraciones, párrafos y documentos en inglés a un espacio vectorial denso de 1024 dimensiones, con el objetivo de lograr embeddings semánticos de alta precisión. Si tu aplicación necesita una representación del texto que capture el significado en lugar de una respuesta escrita, este es el tipo de modelo que elegirías.

El modelo acepta texto como su única modalidad de entrada y produce embeddings como su única modalidad de salida. Su longitud de contexto es de 512 tokens, por lo que cada solicitud está limitada a un tramo de texto bastante corto, y la salida máxima es de 460. No hay entrada de imágenes, audio u otro tipo no textual, y no hay prosa generada en el lado de la salida. Todo lo que devuelve el modelo es un vector, que luego almacenas, comparas o alimentas a otra etapa de tu pipeline.

Esas características apuntan a un conjunto específico de usos. La recuperación es el más claro: genera los embeddings de tus documentos una vez, genera el embedding de la consulta en el momento de la solicitud y compara los vectores para encontrar los pasajes más cercanos. La búsqueda semántica funciona de la misma manera, coincidiendo por significado en lugar de por palabras clave exactas. El proveedor también menciona el reranking y la puntuación de similitud, por lo que puedes usar los vectores para reordenar resultados candidatos o para medir qué tan cercanos son dos fragmentos de texto. Como los vectores son densos y de 1024 dimensiones, son adecuados para almacenarse en un índice vectorial y para la comparación por coseno o producto punto.

Llamas al modelo a través de la API compatible con OpenAI de api14 usando el id de modelo "intfloat/e5-large-v2". Como el endpoint sigue el formato de OpenAI, puedes apuntar un cliente de OpenAI existente a api14 y enviar tu texto de la manera habitual, luego leer el embedding de la respuesta. El modelo no admite parámetros de solicitud adicionales, por lo que no hay nada más allá de los campos de solicitud estándar que configurar. Mantén cada entrada dentro de la longitud de contexto de 512 tokens, y espera que la salida sea el propio embedding.

La principal restricción a tener en cuenta es esa ventana de 512 tokens. Los documentos largos deberán dividirse en fragmentos antes de generar los embeddings, y tendrás que decidir cómo combinar o almacenar esos vectores de fragmentos. El modelo también está enfocado en inglés según la descripción del proveedor, por lo que el texto en otros idiomas puede no generar embeddings de forma tan fiable. Si tu tarea es generación de texto, conversación o cualquier cosa que requiera una respuesta escrita, un modelo de embeddings es la herramienta equivocada y un modelo generativo encajaría mejor.