Writer: Palmyra X5

Autor: Palmyra X5 é um modelo de texto da Writer, listado em api14 sob o id de modelo writer/palmyra-x5. A Writer descreve-o como o seu modelo mais avançado, concebido especificamente para construir e escalar agentes de IA em toda a empresa. Situa-se na categoria de texto, pelo que se destina a trabalho de linguagem e não a imagem, áudio ou outras modalidades.

O modelo recebe texto e devolve texto. A sua janela de contexto é de 1.040.000 tokens, o que é pouco mais de um milhão de tokens, e a saída máxima é de 8.192 tokens. A própria descrição da Writer destaca velocidade e eficiência líderes do setor em janelas de contexto até 1 milhão de tokens, pelo que a janela grande é uma parte deliberada do design e não um número incidental. Não há entrada de visão ou áudio aqui; tudo o que envia tem de ser texto.

Essa combinação de uma janela de contexto muito grande e um teto de saída modesto molda os casos de uso práticos. Documentos longos, bases de código grandes, transcrições extensas e conjuntos de múltiplos documentos podem ser fornecidos num único pedido sem fragmentação, o que se adequa a fluxos de trabalho de agentes com forte componente de recuperação, sumarização sobre fontes longas, resposta a perguntas fundamentada em material de referência grande e tarefas de extração em que a resposta é curta mas a evidência está espalhada por muitas páginas. Como a saída está limitada a 8.192 tokens, encaixa melhor quando precisa de uma resposta focada e não de um documento gerado longo.

Chama-o através da API compatível com OpenAI da api14 usando o id de modelo writer/palmyra-x5, pelo que as bibliotecas de cliente OpenAI existentes e as formas de pedido funcionam sem tratamento especial. Os parâmetros de pedido suportados são max_tokens, stop, temperature, top_k e top_p. Use max_tokens para limitar a resposta dentro do teto de saída de 8.192, stop para definir onde a geração deve parar, e temperature, top_k e top_p para controlar a amostragem. Nenhum outro parâmetro está listado como suportado, pelo que deve manter os pedidos neste conjunto.

A principal restrição a planear é o limite de saída de 8.192 tokens. Se a sua tarefa é produzir um relatório longo, um ficheiro completo ou um texto extenso numa só passagem, este modelo irá truncar antes de terminar, e um modelo com uma permissão de saída maior pode encaixar melhor. O Palmyra X5 é mais forte quando a entrada é grande e a resposta necessária é comparativamente pequena.