Mistral: Mixtral 8x22B Instruct

Mistral: Mixtral 8x22B Instruct é um modelo de texto da Mistral, lançado pelo fornecedor em 17 de abril de 2024. É a versão oficial instruct com fine-tuning do Mixtral 8x22B, um design esparso de mistura de especialistas que usa 39B parâmetros ativos de 141B. O ajuste instruct adapta o modelo base para seguir instruções e responder solicitações diretamente, que é o que a maioria dos desenvolvedores de aplicações deseja ao chamar um modelo através de uma API.

O modelo aceita entradas de texto e arquivos e retorna texto. Sua janela de contexto é de 65.536 tokens, e a saída máxima é de 52.428 tokens, portanto entradas longas e gerações longas são ambas possíveis dentro da mesma solicitação. O corte de conhecimento é 31 de janeiro de 2024, o que significa que qualquer coisa após essa data está fora do que o modelo foi treinado. A Mistral destaca matemática e programação fortes como pontos fortes particulares deste modelo, juntamente com eficiência de custo para seu tamanho.

Essas capacidades apontam para um conjunto bastante amplo de usos práticos. O contexto longo é adequado para trabalhar sobre documentos grandes, seja resumindo um relatório longo, extraindo detalhes estruturados de um arquivo, ou respondendo perguntas contra um corpo de texto fornecido no prompt. Os pontos fortes em matemática e programação tornam-no uma escolha razoável para assistência de código, como explicar ou gerar código, e para tarefas quantitativas que precisam de raciocínio passo a passo. Como aceita arquivos como entrada, pode ser usado em pipelines onde documentos são passados diretamente em vez de colados como texto simples. Chamada de ferramentas e saídas estruturadas também o tornam adequado para fluxos de trabalho no estilo agente e para produzir respostas que o código a jusante possa analisar.

Você o chama através da API compatível com OpenAI da api14 usando o id de modelo "mistralai/mixtral-8x22b-instruct". Os parâmetros de solicitação suportados são frequency_penalty, max_tokens, presence_penalty, response_format, seed, stop, structured_outputs, temperature, tool_choice, tools e top_p. Na prática, isso cobre os controles de amostragem usuais (temperature, top_p, penalidades, seed, stop), comprimento de saída via max_tokens, modelagem de resposta via response_format e structured_outputs, e chamada de funções via tools e tool_choice. Se você já tem código escrito para o formato de chat completions da OpenAI, mudar para este modelo é basicamente uma questão de alterar o id de modelo.

Uma coisa a ter em mente é o corte de conhecimento de 31 de janeiro de 2024, portanto perguntas sobre eventos posteriores não serão respondidas a partir dos dados de treinamento e podem precisar de recuperação ou contexto fornecido no prompt. O modelo é somente texto no lado da saída, então tarefas que exigem gerar imagens ou áudio estão fora do escopo. Se sua carga de trabalho depende de informações muito recentes ou de modalidades além de entrada de texto e arquivo, outro modelo pode se adequar melhor.