Qwen2.5 72B Instruct

Qwen2.5 72B Instruct é um modelo de geração de texto da Qwen, a série de grandes modelos de linguagem desenvolvida pela Alibaba Cloud. Pertence à família Qwen2.5, que o fornecedor descreve como trazendo significativamente mais conhecimento do que o Qwen2, juntamente com capacidades de programação bastante melhoradas. O modelo foi lançado pelo fornecedor em 19 de setembro de 2024, e o seu conhecimento de treino vai até um cutoff de 30 de junho de 2024. Situa-se na categoria de texto e é posicionado como um modelo ajustado para instruções, o que significa que foi concebido para seguir prompts e produzir respostas diretas em vez de continuações em bruto.

O modelo aceita texto como entrada e devolve texto como saída, pelo que funciona para qualquer tarefa que possa ser expressa em linguagem. A sua janela de contexto é de 32.768 tokens, o que cobre uma quantidade substancial de material num único pedido, e o comprimento máximo de saída é de 16.384 tokens. Essa combinação adequa-se a prompts longos, como resumos de vários documentos, ficheiros de código extensos ou instruções detalhadas em que a própria resposta também pode ser longa. Como apenas texto é suportado em ambos os lados, o modelo não processa imagens, áudio ou outras modalidades.

Essas capacidades apontam para um conjunto bastante amplo de utilizações práticas. O seguimento de instruções e a ênfase na programação tornam-no uma escolha razoável para geração de código, refatoração, ajuda na depuração e explicação de código existente. A grande janela de contexto suporta fluxos de trabalho do tipo retrieval, em que várias passagens de origem são coladas no prompt e se pede ao modelo que sintetize ou responda a perguntas sobre elas. Também funciona para redigir e editar prosa, extração estruturada a partir de texto, classificação e sumarização, e assistentes conversacionais que precisam de manter um longo fio de diálogo dentro do orçamento de tokens.

Pode chamar o modelo através da API compatível com OpenAI da api14 usando o model id "qwen/qwen-2.5-72b-instruct". Como a interface segue a forma de chat completions da OpenAI, os SDKs e clientes OpenAI existentes geralmente funcionam apenas com a alteração do base URL e da chave. O modelo suporta um amplo conjunto de parâmetros de pedido: frequency_penalty, logit_bias, max_tokens, min_p, presence_penalty, repetition_penalty, response_format, seed, stop, structured_outputs, temperature, tool_choice, tools, top_k e top_p. A chamada de ferramentas e as saídas estruturadas estão, portanto, disponíveis diretamente, o que é útil quando precisa que o modelo devolva JSON ou invoque funções em vez de texto livre.

Há algumas restrições que vale a pena ponderar antes de avançar. O contexto de 32.768 tokens é generoso, mas não ilimitado, pelo que bases de código muito grandes ou conjuntos de documentos longos podem exigir chunking ou retrieval em vez de um único prompt. O cutoff de conhecimento de 30 de junho de 2024 significa que qualquer coisa mais recente tem de vir do próprio prompt. Se a sua carga de trabalho não for baseada em texto, este modelo não ajudará, uma vez que não tem entrada de imagem ou áudio. Para tarefas que se enquadrem nestes limites, oferece um modelo de texto generalista capaz, com um forte controlo de parâmetros.