Usamos cookies. Cookies e o armazenamento do navegador mantêm você conectado e lembram suas preferências. Com sua permissão, também medimos como o site é usado. Você pode a qualquer momento. Veja nossa política de cookies.
mongodb/voyage-multimodal-3.5Usa o seu saldo, aos preços acima. Novas contas começam com uso grátis.
Configurações
VoyageAI by MongoDB: voyage-multimodal-3.5 é um modelo de embedding multimodal da VoyageAI by MongoDB. Pertence à categoria de embeddings, portanto seu trabalho é transformar conteúdo em vetores em vez de gerar respostas de chat. Destina-se a desenvolvedores que precisam de um único modelo de embedding que abranja mais do que texto simples.
O modelo aceita texto e imagens como entrada e produz embeddings como saída. Ele pode vetorizar texto, imagens e vídeo individualmente, e também lida com conteúdo que intercala as três modalidades. A janela de contexto é de 32.000 tokens, e a saída máxima é de 28.800. Como a saída é sempre uma representação vetorial, o modelo não retorna prosa, respostas ou conclusões de chat; ele retorna embeddings que você armazena ou compara.
Essas capacidades apontam para alguns usos práticos. Você pode incorporar documentos de texto e imagens em um único espaço vetorial compartilhado para busca e recuperação, o que se adequa a bases de conhecimento e catálogos que misturam material escrito com ativos visuais. Como o modelo lida com conteúdo intercalado de texto, imagem e vídeo, ele também se encaixa em páginas ou registros onde as modalidades aparecem juntas, como listagens de produtos com descrições e fotos. Os embeddings podem dar suporte a correspondência de similaridade, agrupamento, deduplicação e recursos de recomendação construídos sobre seu próprio armazenamento vetorial.
Você chama o modelo através da API compatível com OpenAI da api14 usando o id de modelo "mongodb/voyage-multimodal-3.5". Como o endpoint segue o formato OpenAI, você pode usar bibliotecas cliente OpenAI existentes e apontá-las para a api14, enviando entradas de texto e imagem e lendo de volta os vetores de embedding. O modelo não lista parâmetros suportados, então conte com os padrões para este modelo e mantenha a configuração da requisição mínima; verifique a documentação do endpoint para o formato exato da requisição antes de conectá-lo a um pipeline.
Tenha em mente o papel de embedding ao escolher entre modelos. Este não gera texto nem mantém conversas, então tarefas que precisam de respostas geradas ou raciocínio exigem um modelo de chat ou de conclusão. Ele é a melhor opção quando o requisito é representar texto, imagens e conteúdo misto como vetores para busca e recuperação.
import OpenAI from "openai";
const client = new OpenAI({
baseURL: "https://api14.com/api/v1",
apiKey: process.env.API14_API_KEY,
});
const result = await client.embeddings.create({
"model": "mongodb/voyage-multimodal-3.5",
"input": [
"The quick brown fox",
"Lorem ipsum"
]
});
console.log(result.data.map((d) => d.embedding.length));
Esta comunidade ainda não tem tópicos. Abra o primeiro sobre VoyageAI by MongoDB: voyage-multimodal-3.5.