VoyageAI by MongoDB: rerank-2.5

VoyageAI by MongoDB: rerank-2.5 é um modelo de reranking da Voyage AI, um fornecedor cujos rerankers são distribuídos sob o nome VoyageAI by MongoDB. Ele se situa na categoria rerank, o que significa que seu trabalho não é gerar texto, mas pegar um conjunto de documentos candidatos e reordená-los por relevância em relação a uma consulta. Se sua aplicação já recupera passagens, chunks ou resultados de busca e você quer as melhores correspondências no topo, este é o tipo de modelo que você usaria.

O modelo aceita texto como entrada e produz um reranking como saída. Ele tem um comprimento de contexto de 32.000 tokens, que é o orçamento compartilhado entre a consulta e os documentos que você envia em uma única requisição, e uma saída máxima de 28.800. Como a saída é um ranking e não prosa gerada, você não deve esperar que ele responda perguntas, resuma conteúdo ou escreva código. Sua contribuição inteira é uma ordenação de relevância sobre os candidatos que você fornece.

Os casos de uso práticos decorrem diretamente disso. Um pipeline de geração aumentada por recuperação pode usar o rerank-2.5 como um segundo estágio após uma busca vetorial ou por palavra-chave rápida, pegando os principais candidatos e reordenando-os para que os chunks mais relevantes sejam os passados a um modelo de geração. O mesmo padrão se aplica a busca empresarial, busca em documentação e bases de conhecimento de suporte, onde o primeiro estágio favorece a recall e o reranker restaura a precisão. Ele também é útil para tarefas de deduplicação e priorização, onde você tem mais passagens candidatas do que pode exibir a um usuário ou alimentar em um prompt downstream.

Você o chama através da API compatível com OpenAI da api14 usando o id de modelo "voyageai/rerank-2.5". Como o endpoint segue o esquema OpenAI, você pode apontar um cliente OpenAI existente para a URL base da api14 e passar este id no campo model. A lista de parâmetros suportados do modelo está vazia, então não há opções adicionais de ajuste a definir além do que a própria requisição de rerank exige, como a consulta e os documentos a serem pontuados. Mantenha as requisições dentro do contexto de 32.000 tokens, lembrando que a consulta e cada documento candidato contam para esse total.

Sobre a questão de quando procurar outra opção: o rerank-2.5 lida apenas com texto e retorna apenas um ranking, então tarefas que precisam de entrada de imagem, áudio ou saída gerada estão fora de seu escopo e pertencem a um modelo diferente. Se você precisa de um único modelo para tanto recuperar quanto responder, um modelo de geração é a melhor escolha, com o rerank-2.5 opcionalmente colocado à sua frente como um estágio de precisão.