MythoMax 13B

MythoMax 13B é um modelo de texto da Gryphe, identificado na api14 como gryphe/mythomax-l2-13b. É um fine-tune do Llama 2 13B, produzido por fusão em vez de por uma única execução de treino, e a Gryphe descreve-o como um dos fine-tunes com melhor desempenho e mais populares desse modelo base. Situa-se na categoria de texto, por isso é construído para trabalho de linguagem e não para imagens, áudio ou outras modalidades.

O modelo recebe texto como entrada e devolve texto como saída. Tem uma janela de contexto de 8192 tokens, que cobre um prompt razoavelmente longo mais a resposta gerada, e a sua saída máxima é de 3686 tokens. O seu limite de conhecimento é 30 de junho de 2023, por isso tudo o que seja posterior a essa data está fora do que aprendeu durante o treino. A Gryphe destaca descrições ricas e roleplay como pontos fortes particulares deste fine-tune, o que é um sinal útil sobre o tipo de prosa que tende a produzir.

Essas características apontam para um conjunto bastante específico de utilizações. Os pontos fortes de roleplay e descrição rica tornam-no uma escolha natural para ficção interativa, chat orientado por personagens e geração de narrativa ou diálogo onde o tom e o detalhe importam. O contexto de 8192 tokens permite manter uma conversa longa ou uma cena substancial em vista sem estar constantemente a cortar, e o teto de saída de 3686 tokens suporta respostas que ocupam vários parágrafos. Para além da escrita criativa, funciona para geração geral de texto e assistentes do tipo chat, embora o limite de conhecimento signifique que não deve confiar nele para perguntas sobre eventos posteriores a junho de 2023.

Chama-o através da API compatível com OpenAI da api14 usando o id de modelo gryphe/mythomax-l2-13b, por isso as bibliotecas de cliente OpenAI existentes e as formas de pedido funcionam apenas com a mudança do nome do modelo. Os parâmetros de pedido suportados são frequency_penalty, logit_bias, logprobs, max_tokens, min_p, presence_penalty, repetition_penalty, response_format, seed, stop, structured_outputs, temperature, top_a, top_k, top_logprobs e top_p. Esta é uma ampla superfície de amostragem e controlo: as habituais definições de temperature, top_p, top_k e penalizações, mais min_p, top_a e repetition_penalty, que são comuns em fluxos de trabalho de fine-tunes da comunidade. Seed dá-lhe amostragem reproduzível, as sequências de stop permitem-lhe cortar a geração numa string escolhida, e logprobs com top_logprobs expõem probabilidades ao nível do token. response_format e structured_outputs estão disponíveis se precisar que a saída tenha uma forma específica.

Os principais limites a ter em conta são o contexto de 8192 tokens e o limite de saída de 3686 tokens, juntamente com o limite de conhecimento de junho de 2023. Se a sua tarefa precisar de um contexto muito maior, conhecimento mais recente ou entrada que não seja texto, um modelo diferente na api14 encaixará melhor. Para escrita criativa, chat de personagens e geração geral de texto dentro desses limites, este modelo é uma escolha razoável.