ReMM SLERP 13B

O ReMM SLERP 13B é um modelo de geração de texto lançado pela Undi95 em 22 de julho de 2023. É descrito pelo seu fornecedor como uma tentativa de recriação do MythoMax-L2-B13 original usando modelos atualizados, e é distribuído como um merge, o que significa que os seus pesos foram combinados a partir de outros modelos afinados em vez de treinados de raiz. A Undi95 é uma editora de modelos independente conhecida por merges da comunidade, por isso este é um modelo construído pela comunidade e não um lançamento de primeira parte de um grande laboratório.

O modelo funciona com entrada de texto e produz apenas saída de texto. Tem uma janela de contexto de 6.144 tokens e uma saída máxima de 5.529 tokens, por isso prompts longos deixam correspondentemente menos espaço para uma resposta. O seu limite de conhecimento é 30 de junho de 2023, o que significa que qualquer coisa após essa data está fora do que aprendeu durante o treino. Dentro desses limites comporta-se como um modelo de chat geral que segue instruções, e pode ser orientado com os controlos de amostragem habituais.

Como é um modelo de texto de uso geral com uma janela de contexto modesta, adequa-se a tarefas como chat e diálogo, escrita e reescrita de formato curto, sumarização de passagens que cabem dentro do contexto, resposta a perguntas sobre texto fornecido, e trabalho criativo leve como escrita de personagens ou cenários. A linhagem de merge que remonta ao MythoMax-L2-B13 torna-o uma escolha razoável para prompts conversacionais e de estilo roleplay, onde o seu ajuste tende a produzir respostas mais expressivas do que um modelo base simples. Não é uma boa escolha para documentos muito longos, uma vez que 6.144 tokens cobrem apenas alguns milhares de palavras, e não tem imagem, áudio ou qualquer outra entrada não textual.

Pode chamá-lo através da API compatível com OpenAI da api14 usando o id de modelo "undi95/remm-slerp-l2-13b". Aponte o seu cliente OpenAI existente para o URL base da api14 e envie um pedido de chat completion com esse id, e as formas do pedido e da resposta mantêm-se iguais às da OpenAI. O modelo suporta frequency_penalty, logit_bias, logprobs, max_tokens, min_p, presence_penalty, repetition_penalty, response_format, seed, stop, structured_outputs, temperature, top_a, top_k, top_logprobs e top_p. Isto cobre os parâmetros de amostragem padrão mais alguns extras: min_p, top_a e repetition_penalty para controlo mais fino sobre a amostragem, seed para execuções reproduzíveis, e response_format e structured_outputs quando precisa da saída numa forma definida.

Vale a pena ter em mente dois limites. O contexto de 6.144 tokens e o limite de saída de 5.529 tokens excluem trabalho com documentos longos ou grandes bases de código, e o limite de conhecimento de junho de 2023 significa que o modelo não saberá nada mais recente. Se a sua tarefa precisa de uma janela de contexto muito maior, conhecimento atual do mundo, ou entrada não textual, um modelo diferente na api14 servir-lhe-á melhor.