Mistral: Mistral Nemo

Mistral Nemo é um modelo de texto da Mistral, construído em colaboração com a NVIDIA. É um modelo de 12B parâmetros, e a data de lançamento do fornecedor foi 19 de julho de 2024. O modelo é multilíngue, com suporte para inglês, francês, alemão, espanhol, italiano, português, chinês, japonês e outros idiomas. Se você está escolhendo um modelo para um projeto, este fica na camada menor e eficiente da linha da Mistral, em vez dos maiores modelos principais.

O modelo recebe texto como entrada e retorna texto como saída, então é um modelo de linguagem direto, sem tratamento de imagem ou áudio. Sua janela de contexto é de 131072 tokens, o que é grande o suficiente para conter documentos longos, conversas estendidas ou arquivos de código consideráveis em uma única requisição. A saída máxima é de 16384 tokens, então as respostas podem ser longas, mas ficam bem abaixo do limite de entrada. Seu corte de conhecimento é 30 de abril de 2024, o que importa se sua tarefa depende de eventos ou informações posteriores a essa data.

Essas capacidades apontam para alguns usos práticos. O contexto longo é adequado para resumir ou extrair informações de relatórios extensos, contratos e transcrições, e o suporte multilíngue ajuda com tradução e com aplicações que atendem usuários em vários idiomas. Como o modelo aceita e retorna apenas texto, ele se encaixa em assistentes de chat, perguntas e respostas sobre documentos fornecidos, redação e reescrita, classificação e outras tarefas de transformação de texto. O teto de saída de 16384 tokens significa que documentos gerados muito longos podem precisar ser produzidos em várias passagens.

Você pode chamar o modelo através da API compatível com OpenAI da api14 usando o id de modelo "mistralai/mistral-nemo". Os parâmetros de requisição suportados são frequency_penalty, logit_bias, logprobs, max_tokens, min_p, presence_penalty, repetition_penalty, response_format, seed, stop, structured_outputs, temperature, tool_choice, tools, top_k, top_logprobs e top_p. Esse conjunto cobre controles de amostragem, seed determinística, sequências de parada, saídas estruturadas e chamada de ferramentas, então você pode moldar tanto o estilo da saída quanto seu formato sem sair da interface padrão.

Alguns limites vale a pena ter em mente. Entrada e saída são apenas texto, então tarefas que exigem analisar imagens ou áudio precisam de um modelo diferente. O corte de conhecimento de 30 de abril de 2024 significa que o modelo não tem conhecimento integrado de eventos posteriores, e o limite de saída de 16384 tokens restringe o comprimento de uma única resposta. Se sua carga de trabalho depende de qualquer um desses pontos, outro modelo pode se encaixar melhor.