BAAI: bge-m3

BAAI: bge-m3 é um modelo de embeddings da BAAI, a Beijing Academy of Artificial Intelligence. Pertence à categoria de embeddings, o que significa que foi criado para transformar texto em vetores e não para gerar respostas de chat. Se a sua aplicação precisa de um modelo que responda a perguntas ou escreva texto, este não é esse tipo de modelo; ele existe para representar texto numericamente para que outros sistemas possam compará-lo, pesquisá-lo e recuperá-lo.

O modelo recebe texto como sua única entrada e produz embeddings como sua única saída. Segundo o fornecedor, ele codifica frases, parágrafos e documentos longos num espaço vetorial denso de 1024 dimensões, com o objetivo de fornecer embeddings semânticos de alta qualidade. Está otimizado para recuperação multilingue, pesquisa semântica e aplicações de grande contexto. A janela de contexto é de 8194 tokens, e a saída máxima é de 7374, pelo que passagens de texto bastante longas podem ser codificadas num único pedido em vez de serem divididas em muitos fragmentos pequenos.

Essas capacidades apontam para um conjunto claro de utilizações práticas. A pesquisa semântica é a mais direta: codifique os seus documentos uma vez, codifique a consulta do utilizador no momento do pedido e ordene os documentos por similaridade vetorial em vez de sobreposição de palavras-chave. A geração aumentada por recuperação é outra, em que o bge-m3 fornece a metade da recuperação ao encontrar passagens que estão semanticamente próximas de uma pergunta, que são depois passadas a um modelo generativo separado. Como o modelo é multilingue, o mesmo índice pode servir consultas e documentos em diferentes línguas, o que se adequa a pesquisa interlínguas, deduplicação e agrupamento de coleções de texto. A janela de contexto longa também ajuda quando um único bloco de documento é grande, uma vez que menos blocos significam menos fragmentação do significado entre vetores.

Pode chamar o modelo através da API compatível com OpenAI da api14 usando o id de modelo "baai/bge-m3". Como a interface segue o formato OpenAI, pode apontar um cliente OpenAI existente para o URL base da api14 e enviar o seu texto para o endpoint de embeddings com esse id, sem reescrever a sua integração. O modelo não lista parâmetros suportados além do que o endpoint exige, por isso mantenha os pedidos simples: forneça o texto de entrada e o id do modelo, e leia os vetores devolvidos. Não há controlos de amostragem como temperature para ajustar aqui, uma vez que a saída são dados de embedding determinísticos e não tokens gerados.

Uma coisa a ter em conta é o âmbito. O bge-m3 só aceita texto e só devolve embeddings, por isso tarefas como sumarização, classificação por geração ou respostas conversacionais precisam de um modelo diferente ao seu lado. O contexto de 8194 tokens é generoso para trabalho de recuperação, mas ainda é finito, por isso documentos muito grandes devem ser divididos em blocos antes da codificação. Dentro desses limites, é uma escolha razoável quando o seu problema é fundamentalmente sobre representar e comparar texto.