Meta: Llama 3.1 70B Instruct is een tekstmodel van Meta, uitgebracht op 2024-07-23. Qwen2.5 72B Instruct is een tekstmodel van Qwen, uitgebracht op 2024-09-19. Beide zitten in ongeveer dezelfde gewichtsklasse, ruwweg zeventig miljard parameters, en beide zijn instruction tuned voor chat en algemeen assistentwerk. Geen van beide is een klein model, dus beide zijn gericht op ontwikkelaars die sterk algemeen taalgedrag willen in plaats van een goedkope werkpaard voor hoge volumes.
Het duidelijkste verschil is context. Llama 3.1 70B Instruct accepteert tot 131072 tokens, wat vier keer het venster van 32768 tokens van Qwen2.5 72B Instruct is. Als je prompt lange documenten, grote codebases, lange transcripties of veel opgehaalde chunks bevat, maakt dat verschil uit en is Llama degene waarin de invoer past. Qua modaliteiten zijn de twee identiek: tekst in, tekst uit, geen beeld- of audioverwerking aan beide kanten. Hun ondersteunde parameterlijsten komen ook exact overeen, dus beide bieden temperature, top_p, top_k, min_p, repetition_penalty, frequency_penalty, presence_penalty, logit_bias, seed, stop, max_tokens, response_format, structured_outputs, tools en tool_choice. Er is geen mogelijkheid die de een heeft en de ander mist in die lijst, dus de keuze komt niet neer op functieondersteuning.
Voor praktische selectie begin je met de invoergrootte. Langcontext-retrieval, volledige bestandsrevisie, samenvatting van meerdere documenten en alles waarbij je anders agressief zou chunkeren wijzen naar Llama 3.1 70B Instruct, simpelweg omdat het venster groter is. Voor kortere, goed afgebakende taken zoals chatbeurten, enkele functieaanroepen, classificatie, extractie uit een paragraaf of twee, en agentstappen waarbij elk verzoek klein is, is Qwen2.5 72B Instruct een redelijke standaard, en het is de goedkoopste van de twee op invoer. De uitvoerprijs is ongeveer hetzelfde voor beide, dus de invoerkant is waar het kostenverschil zichtbaar wordt. Als je workload vooral korte prompts bevat, telt dat invoervoordeel voor Qwen op; als je prompts lang zijn, kan het grotere venster van Llama je ervan weerhouden verzoeken überhaupt op te splitsen, wat belangrijker kan zijn dan het tarief per token.
Het aanroepen van een van beide modellen via api14 werkt hetzelfde, omdat de API OpenAI-compatibel is. Je richt je bestaande OpenAI-client op de api14 base URL, stuurt je sleutel mee en stelt het model-veld in. Om Llama te gebruiken stel je het model-id in op meta-llama/llama-3.1-70b-instruct. Om Qwen te gebruiken stel je het in op qwen/qwen-2.5-72b-instruct. Al het andere in de request body, messages, temperature, max_tokens, tools, response_format en de rest, blijft zoals het is. Schakelen tussen de twee is een wijziging van één regel, dus je kunt beide benchmarken tegen je eigen prompts en per route of per taak kiezen zonder je integratie te herschrijven.
Er is één geval waarin Qwen2.5 72B Instruct nog steeds de betere keuze is, zelfs wanneer context niet krap is: wanneer kosten op invoer de beslissende factor zijn en je prompts ruim binnen 32768 tokens passen. In die situatie levert het grotere venster van Llama je niets op dat je zult gebruiken, en Qwen is de goedkopere invoeroptie. Omgekeerd, als je ooit verwacht te groeien naar langere invoer, geeft Llama 3.1 70B Instruct je ruimte zonder een tweede migratie later.