Sao10K: Llama 3.1 Euryale 70B v2.2

Sao10K: Llama 3.1 Euryale 70B v2.2 é um modelo de texto da Sao10K, um fornecedor conhecido por ajustes finos voltados para escrita criativa e roleplay. É construído sobre o Llama 3.1 70B e é o sucessor do Euryale L3 70B v2.1. O fornecedor descreve-o como focado em roleplay criativo, por isso situa-se no espaço de modelos de pesos abertos ajustados para conversas narrativas e orientadas por personagens, em vez de trabalho de assistente de propósito geral.

O modelo recebe texto e devolve texto. Tem uma janela de contexto de 131072 tokens, suficientemente grande para conter conversas longas, cenas extensas ou documentos consideráveis num único pedido. A saída máxima é de 16384 tokens, por isso uma única resposta pode ser bastante longa, embora seja menor do que a janela de entrada. O seu limite de conhecimento é 2023-12-31, o que importa se a sua tarefa depender de eventos posteriores a essa data. Os parâmetros de pedido suportados incluem temperature, top_p, top_k, min_p, repetition_penalty, frequency_penalty, presence_penalty, logit_bias, seed, stop, max_tokens e structured_outputs.

Os usos práticos decorrem desse perfil. Roleplay criativo e conversa com personagens são o encaixe mais claro, uma vez que o modelo foi ajustado para isso. Ficção de forma longa, continuação de cenas e narrativa interativa também se adequam à grande janela de contexto, porque pode manter muita narrativa anterior no prompt sem a truncar. Os parâmetros de amostragem dão-lhe controlo fino sobre o tom e a repetição, o que ajuda quando quer uma voz de personagem consistente ao longo de uma sessão longa. As saídas estruturadas podem ser úteis quando quer que o modelo devolva algo mais previsível do que prosa livre, por exemplo um resumo de cena ou um conjunto de campos dentro de um pipeline de roleplay.

Chama-o através da API compatível com OpenAI da api14 usando o id de modelo "sao10k/l3.1-euryale-70b". Como a interface é compatível com OpenAI, pode apontar um cliente OpenAI existente para o URL base da api14 e passar esse id no campo model. O pedido suporta os parâmetros listados acima, por isso pode definir temperature, top_p, top_k, min_p, repetition_penalty, frequency_penalty, presence_penalty, logit_bias, seed, stop, max_tokens e structured_outputs conforme necessário. Uma tabela de preços em direto na página cobre o custo.

Um limite a ter em conta é o limite de conhecimento de 2023-12-31, por isso qualquer coisa que exija informação mais recente não virá do próprio modelo. O limite de saída de 16384 tokens também significa que continuações muito longas precisam de ser construídas ao longo de múltiplas chamadas. Se a sua tarefa for resposta a perguntas factuais, geração de código ou uso de ferramentas em vez de escrita criativa, um modelo de propósito geral pode encaixar melhor.