Intfloat: E5-Large-v2

Intfloat: E5-Large-v2 é um modelo de embeddings da Intfloat. Pertence à categoria de embeddings, o que significa que a sua função é transformar texto em vetores em vez de gerar respostas de chat. O fornecedor descreve-o como mapeando frases, parágrafos e documentos em inglês para um espaço vetorial denso de 1024 dimensões, com o objetivo de embeddings semânticos de alta precisão. Se a sua aplicação precisa de uma representação de texto que capture significado em vez de uma resposta escrita, este é o tipo de modelo que você usaria.

O modelo aceita texto como a sua única modalidade de entrada e produz embeddings como a sua única modalidade de saída. O seu comprimento de contexto é de 512 tokens, portanto cada requisição é limitada a um intervalo de texto bastante curto, e a saída máxima é 460. Não há entrada de imagem, áudio ou outra entrada não textual, e não há prosa gerada no lado da saída. Tudo o que o modelo retorna é um vetor, que você então armazena, compara ou alimenta em outro estágio do seu pipeline.

Essas características apontam para um conjunto específico de usos. A recuperação é o mais claro: faça o embedding dos seus documentos uma vez, faça o embedding da consulta no momento da requisição, e compare os vetores para encontrar as passagens mais próximas. A busca semântica funciona da mesma forma, correspondendo por significado em vez de palavras-chave exatas. O fornecedor também lista reranking e pontuação de similaridade, então você pode usar os vetores para reordenar resultados candidatos ou para medir quão próximos dois trechos de texto estão. Como os vetores são de 1024 dimensões e densos, eles são bem adequados para armazenamento em um índice vetorial e para comparação por cosseno ou produto escalar.

Você chama o modelo através da API compatível com OpenAI da api14 usando o id de modelo "intfloat/e5-large-v2". Como o endpoint segue o formato OpenAI, você pode apontar um cliente OpenAI existente para a api14 e enviar o seu texto da maneira usual, depois ler o embedding a partir da resposta. O modelo não suporta parâmetros de requisição adicionais, então não há nada além dos campos padrão de requisição para configurar. Mantenha cada entrada dentro do comprimento de contexto de 512 tokens, e espere que a saída seja o próprio embedding.

A principal restrição a considerar é essa janela de 512 tokens. Documentos longos precisarão ser divididos em chunks antes do embedding, e você terá que decidir como combinar ou armazenar esses vetores de chunk. O modelo também é focado em inglês conforme a descrição do fornecedor, então texto em outros idiomas pode não gerar embeddings de forma tão confiável. Se a sua tarefa é geração de texto, conversação, ou qualquer coisa que exija uma resposta escrita, um modelo de embeddings é a ferramenta errada e um modelo generativo se encaixaria melhor.