Mistral Large

O Mistral Large é um modelo de geração de texto da Mistral, posicionado pelo fornecedor como o seu modelo principal. A versão servida aqui é o Mistral Large 2 (mistral-large-2407), um modelo proprietário com pesos disponíveis que a Mistral descreve como forte em raciocínio, código, JSON e chat. Foi lançado pelo fornecedor em 26 de fevereiro de 2024, e o seu limite de conhecimento é 30 de novembro de 2024, portanto tudo o que aconteceu após essa data está fora do que o modelo aprendeu durante o treino.

O modelo aceita entradas de texto e ficheiros e devolve texto. Tem uma janela de contexto de 128.000 tokens, o que é suficiente para conter documentos longos, ficheiros de código grandes ou conversas extensas num único pedido, e pode produzir até 102.400 tokens numa resposta. Como os ficheiros são uma modalidade de entrada aceite, pode passar conteúdo de documentos juntamente com as suas instruções em vez de colar tudo no prompt. A saída é apenas texto, portanto, se precisar de imagens ou áudio, precisará de um modelo diferente.

Essas capacidades apontam para um conjunto bastante amplo de utilizações práticas. O contexto longo e a força de raciocínio adequam-se à análise de documentos, sumarização e resposta a perguntas sobre material de origem extenso, incluindo contratos, relatórios e artigos de investigação fornecidos como ficheiros. O fornecedor destaca código e JSON, portanto tarefas de explicação, geração e refatoração de código são adequadas, tal como produzir payloads JSON estruturados para sistemas a jusante. Aplicações de chat e de estilo assistente também funcionam bem, particularmente quando a conversa precisa de transportar muito contexto prévio sem truncagem.

Chama o modelo através da API compatível com OpenAI da api14 usando o id de modelo "mistralai/mistral-large". Como o endpoint segue o esquema OpenAI, as bibliotecas de cliente OpenAI existentes e as formas de pedido funcionam apenas com a alteração do URL base e do id de modelo. Os parâmetros de pedido suportados são frequency_penalty, max_tokens, presence_penalty, response_format, seed, stop, structured_outputs, temperature, tool_choice, tools e top_p. A chamada de ferramentas está disponível através de tools e tool_choice, e structured_outputs mais response_format permitem restringir a forma do texto devolvido quando precisa de JSON fiável. O parâmetro seed ajuda quando quer amostragem repetível, e stop, temperature e top_p dão-lhe controlo sobre onde e como o modelo gera.

Tenha em conta o limite de conhecimento: para perguntas sobre eventos após 30 de novembro de 2024, o modelo não tem conhecimento incorporado e precisará que essa informação seja fornecida no prompt ou através de ferramentas. O contexto de 128.000 tokens e o teto de saída de 102.400 tokens são generosos mas finitos, portanto corpora muito grandes ainda precisam de chunking ou recuperação. Se a sua tarefa não for baseada em texto, ou se precisar especificamente de um modelo com um limite mais recente, outro modelo na api14 pode ser a melhor escolha.