Sentence Transformers: all-mpnet-base-v2

Sentence Transformers: all-mpnet-base-v2 é um modelo de embedding da Sentence Transformers, uma família de modelos criada para transformar texto em vetores. Ele se situa na categoria de embeddings, o que significa que foi projetado para produzir representações de texto em vez de gerar texto em si. O modelo codifica frases e parágrafos curtos em um espaço vetorial denso de 768 dimensões, e é posicionado por seu provedor como uma opção de alta fidelidade para trabalhos semânticos.

No lado da entrada, o modelo aceita apenas texto. No lado da saída, ele retorna embeddings em vez de palavras ou mensagens de chat, então você não deve esperar que ele responda perguntas ou mantenha uma conversa. O comprimento de contexto é de 512 tokens, e a saída máxima é de 460. Ambos os números importam na prática: a janela de 512 tokens cobre uma frase ou um parágrafo curto, e qualquer coisa mais longa precisa ser dividida antes de você enviar. O embedding que ele retorna é um vetor de 768 dimensões.

Essas capacidades apontam para um conjunto bastante específico de usos. A recuperação de informação é um encaixe natural, em que você gera o embedding de uma consulta e de um corpus e os compara. O agrupamento é outro, já que frases que ficam próximas no espaço de 768 dimensões frequentemente pertencem ao mesmo tópico. A pontuação de similaridade decorre diretamente disso, por exemplo, classificando passagens candidatas em relação a uma referência, ou detectando texto quase duplicado. Como o modelo lida com frases e parágrafos curtos, essas tarefas funcionam melhor quando cada entrada que você gera o embedding é curta e autocontida.

Você o chama através da API compatível com OpenAI da api14, usando o id de modelo "sentence-transformers/all-mpnet-base-v2". Como a interface segue o formato de embeddings da OpenAI, clientes e bibliotecas existentes que visam esse endpoint podem ser apontados para a api14 sem tratamento especial. Observe que este modelo não lista nenhum parâmetro suportado, então o corpo da requisição deve conter o id do modelo e o texto de entrada, e você não deve contar com ajustes opcionais como dimensions ou encoding format sendo aplicados.

O contexto de 512 tokens e o limite de saída de 460 são os principais limites práticos aqui. Se o seu texto for mais longo que uma frase ou um parágrafo curto, divida-o em blocos e gere o embedding de cada um, depois combine os resultados. E se o que você realmente precisa é de texto gerado em vez de vetores, um modelo de chat generativo se encaixará melhor; este modelo produz apenas embeddings.