BAAI: bge-base-en-v1.5

BAAI: bge-base-en-v1.5 é um modelo de embedding da BAAI, a Beijing Academy of Artificial Intelligence. Pertence à categoria de embeddings, o que significa que não foi criado para gerar respostas de chat ou completar texto. Em vez disso, transforma texto em vetores numéricos. É um modelo de língua inglesa, e o v1.5 no seu nome marca isto como a versão 1.5 da família bge-base-en. Se a sua aplicação precisa de um assistente de chat geral, este não é esse tipo de modelo. Se a sua aplicação precisa de comparar, pesquisar ou corresponder texto por significado, este é o tipo de modelo a avaliar.

O modelo aceita texto como entrada e produz embeddings como saída. Especificamente, converte frases e parágrafos em inglês em vetores densos de 768 dimensões, que se destinam a carregar significado semântico. O comprimento de contexto é de 512 tokens, e a saída máxima é 460. Na prática, 512 tokens significa que deve enviar frases ou parágrafos únicos em vez de documentos longos, uma vez que material mais longo terá de ser dividido antes do embedding. O fornecedor descreve o modelo como entregando embeddings semânticos eficientes e de alta qualidade otimizados para recuperação, pesquisa semântica e fluxos de trabalho de correspondência de documentos. Os vetores são densos, por isso são suficientemente compactos para armazenar e comparar à escala.

Essas características apontam para um conjunto bastante específico de casos de uso. A pesquisa semântica é o mais claro: faça o embedding de uma consulta e dos seus documentos, depois ordene os documentos por similaridade de vetor em vez de sobreposição de palavras-chave. Os pipelines de recuperação podem usar o mesmo comportamento para obter passagens relevantes para uma pergunta. A correspondência de documentos também se encaixa, por exemplo encontrar registos quase duplicados, agrupar tickets de suporte semelhantes, ou ligar itens relacionados entre duas coleções. Como o modelo é apenas em inglês e limitado a 512 tokens, adequa-se a tarefas ao nível de frase e parágrafo. Deduplicação, clustering e pontuação de similaridade em texto curto em inglês são todos encaixes naturais, desde que divida primeiro as entradas mais longas.

Chama o modelo através da API compatível com OpenAI da api14 usando o id de modelo "baai/bge-base-en-v1.5". Como a API segue o formato OpenAI, pode apontar um cliente OpenAI existente para a api14, enviar o seu texto para o endpoint de embeddings, e receber os vetores na resposta. Os parâmetros suportados listados para este modelo estão vazios, por isso não aceita opções extra de afinação além do que o seu pedido já inclui; não há nada como temperature ou top_p para definir, uma vez que esses pertencem à geração de texto e não ao embedding. Consulte a tabela de preços em direto nesta página para as tarifas atuais.

As principais restrições a ter em mente são o comprimento de contexto de 512 tokens, a saída máxima de 460, a entrada apenas em inglês, e o facto de a saída ser vetores em vez de prosa. Se precisa de fazer o embedding de documentos longos numa só passagem, lidar com múltiplas línguas, ou gerar texto, outro modelo na api14 encaixará melhor. Dentro do seu âmbito pretendido, recuperação, pesquisa semântica e correspondência de documentos em frases e parágrafos em inglês, este modelo é uma opção direta.