Meta: Llama 3.1 70B Instruct é um modelo de texto da Meta, lançado em 2024-07-23. Qwen2.5 72B Instruct é um modelo de texto da Qwen, lançado em 202024-09-19. Ambos estão na mesma classe de peso aproximada, cerca de setenta bilhões de parâmetros, e ambos são ajustados para instruções para bate-papo e trabalho de assistente geral. Nenhum é um modelo pequeno, então ambos são voltados para desenvolvedores que desejam um comportamento de linguagem geral forte em vez de um cavalo de batalha barato de alto volume.
A diferença mais clara é o contexto. Llama 3.1 70B Instruct aceita até 131072 tokens, o que é quatro vezes a janela de tokens de 32768 do Qwen2.5 72B Instruct. Se o seu prompt incluir documentos longos, grandes bases de código, transcrições longas ou muitos trechos recuperados, essa lacuna importa e o Llama é aquele que se ajustará à entrada. Em modalidades, os dois são idênticos: texto de entrada, texto de saída, sem manuseio de imagem ou áudio em nenhum dos lados. Suas listas de parâmetros suportados também correspondem exatamente, então ambos expõem temperature, top_p, top_k, min_p, repetition_penalty, frequency_penalty, frequency_penalty, presence_penalty, logit_bias, seed, stop, max_tokens, response_format, structured_outputs, tools e tool_choice. Não há capacidade que um tenha que o outro não tenha nessa lista, então a escolha não se resume ao suporte a recursos.
Para seleção prática, comece com o tamanho da entrada. Recuperação de contexto longo, revisão de arquivo inteiro, sumarização de múltiplos documentos e qualquer coisa onde você normalmente faria fragmentação agressiva apontam para Llama 3.1 70B Instruct, simplesmente porque a janela é maior. Para tarefas mais curta, tarefas bem definidas como turnos de bate-papo, chamadas de função únicas, classificação, extração de um ou dois parágrafos e etapas de agente onde cada solicitação é pequena, Qwen2.5 72B Instruct é um padrão razoável, e é o mais barato dos dois na entrada. A precificação de saída é mais ou menos a mesma para ambos, então o lado da entrada é onde a diferença de custo aparece. Se sua carga de trabalho é composta principalmente por prompts curtos, essa vantagem de entrada para Qwen se acumula; se seus prompts são longos, a, a janela maior do Llama pode evitá que você divida solicitações, o que pode ser mais importante do que a taxa por token.
Chamar qualquer um dos modelos através de api14 funciona da mesma maneira, porque a API é compatível com a OpenAI. Você aponta seu cliente OpenAI existente para a URL base api14, envia sua chave e define o campo modelo. Para usar o Llama, defina o id do modelo como meta-llama/llama-3.1-70b-instruct. Para usar o Qwen, defina como qwen/qwen-2. Tudo mais no corpo da solicitação, mensagens, temperatura, max_tokens, ferramentas, response_format e o resto, permanece como está. Mudar entre os dois é uma mudança de uma linha, então você pode comparar ambos com seus próprios prompts e escolher por rota ou por tarefa sem reescrever sua integração.
Há um caso em que o Qwen2.5 72B Instruct ainda é a melhor escolha mesmo quando o contexto não é apertado: quando o custo na entrada é o fator decisivo e seus prompts se encaixam confortavelmente dentro de 32768 tokens. Nessa situação, a janela maior do Llama não lhe compra nada que você usará, e o Qwen é a opção de entrada mais barata. Inversamente, se você esperar crescer para entradas mais longas, Llama 3.1 70B Instruct lhe dá folga sem uma segunda migração depois.