VoyageAI by MongoDB: voyage-4-large

VoyageAI by MongoDB: voyage-4-large é um modelo de embedding da Voyage AI, um fornecedor cujos modelos são distribuídos sob o nome VoyageAI by MongoDB. Ele está na categoria de embeddings, o que significa que foi construído para transformar texto em vetores em vez de gerar respostas de chat. Se você está escolhendo um modelo para um pipeline de recuperação ou similaridade, este é o tipo de modelo que você avalia pela qualidade do embedding e não pela capacidade conversacional.

O modelo aceita texto como sua única modalidade de entrada e retorna embeddings como sua única saída. Ele tem um comprimento de contexto de 32.000 tokens, então uma única requisição pode cobrir um documento razoavelmente longo ou um lote de passagens mais curtas. O fornecedor o descreve como um embedding de uso geral e multilíngue de última geração, otimizado para qualidade de recuperação. Ele usa aprendizado Matryoshka e treinamento ciente de quantização, e suporta embeddings em 2048, 1024, 512 e 256 dimensões. A saída máxima é listada como 28.800, que é o teto do lado de saída de embedding de uma requisição.

Essas capacidades apontam para um conjunto específico de casos de uso. Busca semântica e recuperação sobre uma coleção de documentos é o encaixe mais direto, já que o modelo é ajustado para qualidade de recuperação e pode gerar embeddings de passagens longas dentro do contexto de 32.000 tokens. Corpora multilíngues também são um alvo razoável, dado o treinamento multilíngue. Como os embeddings podem ser truncados para 2048, 1024, 512 ou 256 dimensões, você pode trocar o tamanho do vetor por armazenamento e velocidade de busca dependendo de quanta precisão seu índice precisa. Agrupamento, deduplicação e pontuação de similaridade sobre texto são outras aplicações naturais, assim como construir um índice vetorial que alimenta um modelo de geração separado.

Você chama o modelo através da API compatível com OpenAI da api14 usando o id de modelo "voyageai/voyage-4-large". Como o endpoint segue o formato OpenAI, você pode apontar um cliente OpenAI existente para a api14 e enviar requisições de embedding sem reescrever sua integração. A lista de parâmetros suportados do modelo está vazia, então não há parâmetros extras de requisição para configurar além do que a chamada de embedding padrão exige. Trate o id de modelo como o único valor específico do modelo que você precisa definir.

Uma restrição prática a ter em mente é que este modelo só lida com entrada de texto e só produz embeddings. Ele não pode gerar texto, responder perguntas ou seguir instruções, então qualquer aplicação que precise de uma resposta escrita requer um modelo de geração separado ao lado dele. O contexto de 32.000 tokens é generoso para trabalho de embedding, mas ainda é finito, então documentos muito grandes precisam ser divididos em chunks antes do embedding. Se sua tarefa é geração em vez de recuperação, um modelo de chat ou completion é o encaixe melhor.