BAAI: bge-m3

BAAI: bge-m3 es un modelo de embeddings de BAAI, la Academia de Inteligencia Artificial de Pekín. Pertenece a la categoría de embeddings, lo que significa que está construido para convertir texto en vectores en lugar de generar respuestas de chat. Si tu aplicación necesita un modelo que responda preguntas o escriba texto, este no es ese tipo de modelo; existe para representar texto numéricamente para que otros sistemas puedan compararlo, buscarlo y recuperarlo.

El modelo toma texto como su única entrada y produce embeddings como su única salida. Según el proveedor, codifica oraciones, párrafos y documentos largos en un espacio vectorial denso de 1024 dimensiones, con el objetivo de ofrecer embeddings semánticos de alta calidad. Está optimizado para recuperación multilingüe, búsqueda semántica y aplicaciones de contexto amplio. La ventana de contexto es de 8194 tokens, y la salida máxima es de 7374, por lo que pasajes de texto bastante largos pueden codificarse en una sola solicitud en lugar de dividirse en muchos fragmentos pequeños.

Esas capacidades apuntan a un conjunto claro de usos prácticos. La búsqueda semántica es el más directo: codifica tus documentos una vez, codifica la consulta del usuario en el momento de la solicitud y clasifica los documentos por similitud vectorial en lugar de por coincidencia de palabras clave. La generación aumentada por recuperación es otra, donde bge-m3 aporta la mitad de recuperación al encontrar pasajes que son semánticamente cercanos a una pregunta, los cuales luego se pasan a un modelo generativo separado. Debido a que el modelo es multilingüe, el mismo índice puede servir consultas y documentos en diferentes idiomas, lo que se adapta a la búsqueda translingüe, la deduplicación y el agrupamiento de colecciones de texto. La ventana de contexto larga también ayuda cuando un fragmento de documento individual es grande, ya que menos fragmentos significan menos fragmentación del significado entre vectores.

Se llama al modelo a través de la API compatible con OpenAI de api14 usando el id de modelo "baai/bge-m3". Debido a que la interfaz sigue el formato de OpenAI, puedes apuntar un cliente de OpenAI existente a la URL base de api14 y enviar tu texto al endpoint de embeddings con ese id, sin reescribir tu integración. El modelo no lista parámetros admitidos más allá de lo que requiere el endpoint, así que mantén las solicitudes simples: proporciona el texto de entrada y el id del modelo, y lee los vectores devueltos. No hay controles de muestreo como temperature que ajustar aquí, ya que la salida son datos de embedding deterministas en lugar de tokens generados.

Algo que hay que tener en cuenta es el alcance. bge-m3 solo acepta texto y solo devuelve embeddings, por lo que tareas como el resumen, la clasificación por generación o las respuestas conversacionales necesitan un modelo diferente junto a él. El contexto de 8194 tokens es generoso para el trabajo de recuperación, pero sigue siendo finito, por lo que los documentos muy grandes deben dividirse en fragmentos antes de codificarlos. Dentro de esos límites, es una elección razonable cuando tu problema se trata fundamentalmente de representar y comparar texto.