VoyageAI by MongoDB: voyage-4-large

VoyageAI by MongoDB: voyage-4-large es un modelo de embeddings de Voyage AI, un proveedor cuyos modelos se distribuyen bajo el nombre VoyageAI by MongoDB. Se ubica en la categoría de embeddings, lo que significa que está construido para convertir texto en vectores en lugar de generar respuestas de chat. Si estás eligiendo un modelo para un pipeline de recuperación o similitud, este es un modelo que evalúas por la calidad de sus embeddings y no por su capacidad conversacional.

El modelo acepta texto como su única modalidad de entrada y devuelve embeddings como su única salida. Tiene una longitud de contexto de 32.000 tokens, por lo que una sola solicitud puede cubrir un documento bastante largo o un lote de pasajes más cortos. El proveedor lo describe como un embedding general y multilingüe de última generación optimizado para la calidad de recuperación. Utiliza aprendizaje Matryoshka y entrenamiento con conciencia de cuantización, y admite embeddings de 2048, 1024, 512 y 256 dimensiones. La salida máxima se indica como 28.800, que es el límite en el lado de la salida de embeddings de una solicitud.

Esas capacidades apuntan a un conjunto específico de casos de uso. La búsqueda semántica y la recuperación sobre una colección de documentos es el encaje más directo, ya que el modelo está ajustado para la calidad de recuperación y puede generar embeddings de pasajes largos dentro del contexto de 32.000 tokens. Los corpus multilingües también son un objetivo razonable, dado el entrenamiento multilingüe. Como los embeddings se pueden truncar a 2048, 1024, 512 o 256 dimensiones, puedes intercambiar tamaño de vector por almacenamiento y velocidad de búsqueda según cuánta precisión necesite tu índice. El clustering, la deduplicación y la puntuación de similitud sobre texto son otras aplicaciones naturales, al igual que construir un índice vectorial que alimente a un modelo de generación separado.

Puedes llamar al modelo a través de la API compatible con OpenAI de api14 usando el id de modelo "voyageai/voyage-4-large". Como el endpoint sigue el formato de OpenAI, puedes apuntar un cliente de OpenAI existente a api14 y enviar solicitudes de embeddings sin reescribir tu integración. La lista de parámetros admitidos del modelo está vacía, por lo que no hay parámetros de solicitud adicionales que configurar más allá de lo que requiere la llamada de embeddings estándar. Trata el id de modelo como el único valor específico del modelo que necesitas establecer.

Una restricción práctica que debes tener en cuenta es que este modelo solo maneja entrada de texto y solo produce embeddings. No puede generar texto, responder preguntas ni seguir instrucciones, por lo que cualquier aplicación que necesite una respuesta escrita requiere un modelo de generación separado junto a él. El contexto de 32.000 tokens es generoso para el trabajo de embeddings, pero sigue siendo finito, así que los documentos muy grandes deben dividirse en fragmentos antes de generar sus embeddings. Si tu tarea es de generación en lugar de recuperación, un modelo de chat o de completado es la opción más adecuada.