Qwen2.5 72B Instruct

Qwen2.5 72B Instruct is een tekstgeneratiemodel van Qwen, de reeks grote taalmodellen ontwikkeld door Alibaba Cloud. Het behoort tot de Qwen2.5-familie, die de provider beschrijft als een familie die aanzienlijk meer kennis meebrengt dan Qwen2, samen met sterk verbeterde codeermogelijkheden. Het model werd door de provider uitgebracht op 19 september 2024, en de trainingskennis reikt tot een cutoff van 30 juni 2024. Het valt in de categorie tekst en is gepositioneerd als een op instructies afgestemd model, wat betekent dat het is ontworpen om prompts te volgen en directe antwoorden te produceren in plaats van ruwe voortzettingen.

Het model accepteert tekst als invoer en retourneert tekst als uitvoer, dus het werkt voor elke taak die in taal kan worden uitgedrukt. Het contextvenster is 32.768 tokens, wat een aanzienlijke hoeveelheid materiaal in één verzoek dekt, en de maximale uitvoerlengte is 16.384 tokens. Die combinatie is geschikt voor lange prompts zoals samenvattingen van meerdere documenten, uitgebreide codebestanden of gedetailleerde instructies waarbij het antwoord zelf ook lang kan zijn. Omdat aan beide zijden alleen tekst wordt ondersteund, verwerkt het model geen afbeeldingen, audio of andere modaliteiten.

Die mogelijkheden wijzen op een tamelijk breed scala aan praktische toepassingen. Het volgen van instructies en de nadruk op coderen maken het een redelijke keuze voor codegeneratie, refactoring, hulp bij debuggen en uitleg van bestaande code. Het grote contextvenster ondersteunt retrieval-achtige workflows waarbij verschillende bronpassages in de prompt worden geplakt en het model wordt gevraagd deze samen te vatten of er vragen over te beantwoorden. Het werkt ook voor het opstellen en bewerken van proza, gestructureerde extractie uit tekst, classificatie en samenvatting, en conversatie-assistenten die een lange dialooglijn binnen het tokenbudget moeten vasthouden.

Je kunt het model aanroepen via de OpenAI-compatibele API van api14 met het model-id "qwen/qwen-2.5-72b-instruct". Omdat de interface de vorm van OpenAI chat completions volgt, werken bestaande OpenAI SDK's en clients over het algemeen met alleen een gewijzigde base URL en sleutel. Het model ondersteunt een brede set verzoekparameters: frequency_penalty, logit_bias, max_tokens, min_p, presence_penalty, repetition_penalty, response_format, seed, stop, structured_outputs, temperature, tool_choice, tools, top_k en top_p. Tool calling en structured outputs zijn dus direct beschikbaar, wat nuttig is wanneer je wilt dat het model JSON retourneert of functies aanroept in plaats van vrije tekst.

Een paar beperkingen zijn het overwegen waard voordat je je vastlegt. De context van 32.768 tokens is ruim, maar niet onbeperkt, dus zeer grote codebases of lange documentsets kunnen opsplitsing of retrieval vereisen in plaats van één enkele prompt. De kennis-cutoff van 30 juni 2024 betekent dat alles wat recenter is uit de prompt zelf moet komen. Als je workload niet op tekst is gebaseerd, zal dit model niet helpen, want het heeft geen beeld- of audio-invoer. Voor taken die binnen deze grenzen passen, biedt het een capabel algemeen tekstmodel met sterke parametercontrole.