VoyageAI by MongoDB: voyage-4-lite

voyage-4-lite é um modelo de embedding da Voyage AI, a empresa por trás da família Voyage de modelos de recuperação, agora parte da MongoDB. Ele se situa na categoria de embeddings e não na categoria de chat, o que significa que não gera texto. Em vez disso, ele transforma texto em vetores que você armazena e compara. Ele é posicionado como um modelo leve e de propósito geral, construído para baixa latência e custo, em vez de máxima precisão nos problemas de recuperação mais difíceis.

O modelo aceita texto como entrada e retorna embeddings como saída. Seu comprimento de contexto é de 32.000 tokens, e a saída máxima é de 28.800, então documentos longos podem ser convertidos em embeddings sem dividi-los em muitos pedaços pequenos. A Voyage AI o treinou com aprendizado Matryoshka e treinamento ciente de quantização, que é o que permite que um único modelo produza embeddings em 2048, 1024, 512 e 256 dimensões. Você escolhe a dimensão que se ajusta ao seu orçamento de armazenamento e latência, e vetores mais curtos permanecem utilizáveis em vez de colapsarem.

Essas propriedades apontam para um conjunto bastante específico de usos. Busca semântica sobre uma coleção de documentos, em que você converte pedaços em embeddings uma vez e os consulta com uma pergunta convertida em embedding, é o caso central. Os mesmos vetores suportam geração aumentada por recuperação, deduplicação e detecção de quase duplicatas, agrupamento e agrupamento por tópicos, e classificação ou roteamento quando você compara uma entrada com exemplos rotulados. Como o modelo lida com 32.000 tokens de contexto, você pode converter páginas inteiras ou passagens longas diretamente em embeddings, o que é adequado para busca em código, triagem de tickets de suporte e bases de conhecimento internas. As opções de dimensão menor importam quando você está armazenando milhões de vetores e quer manter o índice pequeno.

Você o chama através da API compatível com OpenAI da api14 usando o id de modelo "voyageai/voyage-4-lite". Como o endpoint segue o formato de embeddings da OpenAI, clientes e bibliotecas existentes funcionam apenas com a URL base e o id de modelo alterados. O modelo não expõe parâmetros suportados adicionais, então as requisições dependem dos campos padrão que o endpoint de embeddings aceita, como o texto de entrada e o id de modelo. Não há amostragem, temperatura ou configuração de ferramentas para definir, já que nada disso se aplica a um modelo de embedding.

Se sua tarefa é geração de texto, sumarização ou raciocínio, este é o modelo errado e um modelo de chat se encaixará melhor. voyage-4-lite também é descrito como leve e de propósito geral, então se você precisa da mais forte qualidade de recuperação em corpora especializados ou altamente técnicos, um modelo de embedding Voyage maior é a escolha mais provável.