Qwen: Qwen2.5 7B Instruct

Qwen2.5 7B Instruct é um modelo de geração de texto da Qwen, a série de grandes modelos de linguagem desenvolvida pela Alibaba Cloud. Pertence à família Qwen2.5, que o fornecedor descreve como trazendo significativamente mais conhecimento do que o Qwen2, juntamente com capacidades muito melhoradas em programação. O modelo foi lançado pelo fornecedor em 16 de outubro de 2024, e o seu limite de conhecimento é 30 de junho de 2024, pelo que tudo o que aconteceu após essa data está fora do que aprendeu durante o treino.

O modelo funciona apenas com texto, tanto na entrada como na saída. Aceita prompts de texto e devolve completações de texto, com uma janela de contexto de 32.768 tokens e uma saída máxima de 29.491 tokens. Essa combinação significa que pode enviar documentos, transcrições ou ficheiros de código bastante longos num único pedido e ainda deixar espaço para uma resposta substancial. É um modelo ajustado a instruções, pelo que foi concebido para seguir indicações dadas no prompt em vez de simplesmente continuar texto.

Devido às suas melhorias em programação e ao seu conhecimento geral, o modelo adequa-se a tarefas como geração de código, explicação e refatoração de código, resposta a perguntas sobre documentos longos, sumarização de texto extenso e redação ou reescrita de conteúdo. O ajuste a instruções torna-o uma escolha razoável para assistentes de estilo conversacional e para tarefas de extração ou classificação em que descreve a tarefa no prompt. O contexto de 32.768 tokens é útil quando o material sobre o qual precisa de raciocinar é longo, por exemplo um ficheiro de código completo ou um relatório com várias páginas, uma vez que muitas vezes pode evitar dividi-lo em partes.

Chama o modelo através da API compatível com OpenAI da api14 usando o id de modelo "qwen/qwen-2.5-7b-instruct". Os pedidos seguem a mesma forma da interface de chat completions da OpenAI, pelo que as bibliotecas de cliente e o código OpenAI existentes podem apontar para a api14 com alterações mínimas. O modelo suporta um amplo conjunto de parâmetros de pedido: frequency_penalty, max_tokens, min_p, presence_penalty, repetition_penalty, response_format, seed, stop, structured_outputs, temperature, tool_choice, tools, top_k e top_p. A chamada de ferramentas e as saídas estruturadas estão ambas disponíveis, o que significa que pode deixar o modelo chamar funções que define ou restringir a sua saída a um esquema, e o parâmetro seed permite tornar a amostragem mais reproduzível quando precisa de resultados consistentes entre execuções.

Tenha em conta o limite de contexto ao conceber pedidos: 32.768 tokens cobre muito, mas bases de código muito grandes ou entradas com o tamanho de um livro ainda vão precisar de divisão em partes ou recuperação à frente do modelo. O modelo é apenas de texto, pelo que, se a sua aplicação precisa de processar imagens ou áudio, não é a escolha certa. Se precisar de uma janela de contexto maior ou de um raciocínio mais forte em problemas difíceis, um modelo maior da linha Qwen2.5 ou de outra família pode servir melhor, enquanto esta variante 7B continua a ser uma opção prática para geração do dia a dia, assistência de programação e processamento de texto onde um modelo de tamanho médio é suficiente.