Meta: Llama 3.1 70B Instruct è un modello testuale di Meta, rilasciato il 2024-07-23. Qwen2.5 72B Instruct è un modello testuale di Qwen, rilasciato il 2024-09-19. Entrambi si collocano all'incirca nella stessa fascia di peso, circa settanta miliardi di parametri, ed entrambi sono ottimizzati per le istruzioni per chat e lavoro generico di assistenza. Nessuno dei due è un modello piccolo, quindi entrambi sono rivolti a sviluppatori che vogliono un comportamento linguistico generale solido piuttosto che un cavallo da lavoro economico per grandi volumi.
La differenza più evidente è il contesto. Llama 3.1 70B Instruct accetta fino a 131072 token, ovvero quattro volte la finestra di 32768 token di Qwen2.5 72B Instruct. Se il tuo prompt include documenti lunghi, basi di codice estese, trascrizioni lunghe o molti chunk recuperati, quel divario conta e Llama è quello che riuscirà a contenere l'input. Sulle modalità i due sono identici: testo in ingresso, testo in uscita, nessuna gestione di immagini o audio da nessuna delle due parti. Anche le loro liste di parametri supportati coincidono esattamente, quindi entrambi espongono temperature, top_p, top_k, min_p, repetition_penalty, frequency_penalty, presence_penalty, logit_bias, seed, stop, max_tokens, response_format, structured_outputs, tools e tool_choice. Non c'è alcuna capacità che uno abbia e che all'altro manchi in quella lista, quindi la scelta non dipende dal supporto delle funzionalità.
Per la selezione pratica, parti dalla dimensione dell'input. Recupero a contesto lungo, revisione di interi file, riassunto multi documento e qualsiasi cosa in cui altrimenti suddivideresti in chunk in modo aggressivo indicano Llama 3.1 70B Instruct, semplicemente perché la finestra è più ampia. Per attività più brevi e ben delimitate, come turni di chat, singole chiamate di funzione, classificazione, estrazione da uno o due paragrafi e passaggi di agente in cui ogni richiesta è piccola, Qwen2.5 72B Instruct è un default ragionevole, ed è il più economico dei due sull'input. Il prezzo dell'output è più o meno lo stesso per entrambi, quindi è sul lato input che emerge la differenza di costo. Se il tuo carico di lavoro è fatto principalmente di prompt brevi, quel vantaggio sull'input per Qwen si accumula; se i tuoi prompt sono lunghi, la finestra più ampia di Llama può evitarti del tutto di suddividere le richieste, il che può contare più della tariffa per token.
Chiamare l'uno o l'altro modello tramite api14 funziona allo stesso modo, perché l'API è compatibile con OpenAI. Punti il tuo client OpenAI esistente all'URL di base di api14, invii la tua chiave e imposti il campo model. Per usare Llama, imposta l'id del modello su meta-llama/llama-3.1-70b-instruct. Per usare Qwen, impostalo su qwen/qwen-2.5-72b-instruct. Tutto il resto nel corpo della richiesta, messages, temperature, max_tokens, tools, response_format e il resto, resta com'è. Passare dall'uno all'altro è un cambiamento di una riga, quindi puoi confrontare entrambi con i tuoi prompt e scegliere per route o per attività senza riscrivere la tua integrazione.
C'è un caso in cui Qwen2.5 72B Instruct è comunque la scelta migliore anche quando il contesto non è stretto: quando il costo sull'input è il fattore decisivo e i tuoi prompt rientrano comodamente entro 32768 token. In quella situazione la finestra più ampia di Llama non ti offre nulla che userai, e Qwen è l'opzione di input più economica. Al contrario, se prevedi di crescere verso input più lunghi, Llama 3.1 70B Instruct ti dà margine senza una seconda migrazione più avanti.