VoyageAI by MongoDB: voyage-4-lite

voyage-4-lite es un modelo de embeddings de Voyage AI, la empresa detrás de la familia Voyage de modelos de recuperación, ahora parte de MongoDB. Se sitúa en la categoría de embeddings en lugar de la categoría de chat, lo que significa que no genera texto. En cambio, convierte texto en vectores que almacenas y comparas. Está posicionado como un modelo ligero y de propósito general, diseñado para baja latencia y costo en lugar de máxima precisión en los problemas de recuperación más difíciles.

El modelo acepta texto como entrada y devuelve embeddings como salida. Su longitud de contexto es de 32.000 tokens, y la salida máxima es de 28.800, por lo que documentos largos pueden ser embebidos sin dividirlos en muchos fragmentos pequeños. Voyage AI lo entrenó con aprendizaje Matryoshka y entrenamiento consciente de la cuantización, lo que permite que un solo modelo produzca embeddings de 2048, 1024, 512 y 256 dimensiones. Tú eliges la dimensión que se ajuste a tu presupuesto de almacenamiento y latencia, y los vectores más cortos siguen siendo utilizables en lugar de colapsar.

Esas propiedades apuntan a un conjunto bastante específico de usos. La búsqueda semántica sobre una colección de documentos, donde embebes fragmentos una vez y los consultas con una pregunta embebida, es el caso central. Los mismos vectores soportan generación aumentada por recuperación, deduplicación y detección de casi duplicados, agrupamiento y agrupación por temas, y clasificación o enrutamiento cuando comparas una entrada contra ejemplos etiquetados. Debido a que el modelo maneja 32.000 tokens de contexto, puedes embeber páginas completas o pasajes largos directamente, lo que se adapta a búsqueda de código, triaje de tickets de soporte y bases de conocimiento internas. Las opciones de dimensiones más bajas importan cuando almacenas millones de vectores y quieres mantener el índice pequeño.

Lo llamas a través de la API compatible con OpenAI de api14 usando el id de modelo "voyageai/voyage-4-lite". Debido a que el endpoint sigue la forma de embeddings de OpenAI, los clientes y bibliotecas existentes funcionan con solo cambiar la URL base y el id de modelo. El modelo no expone parámetros soportados adicionales, por lo que las solicitudes dependen de los campos estándar que acepta el endpoint de embeddings, como el texto de entrada y el id de modelo. No hay muestreo, temperatura ni configuración de herramientas que establecer, ya que nada de eso aplica a un modelo de embeddings.

Si tu tarea es generación de texto, resumen o razonamiento, este es el modelo equivocado y un modelo de chat se ajustará mejor. voyage-4-lite también se describe como ligero y de propósito general, así que si necesitas la mejor calidad de recuperación en corpus especializados o altamente técnicos, un modelo de embeddings Voyage más grande es la opción más probable.