Magnum v4 72B

Magnum v4 72B is een tekstgeneratiemodel van Anthracite Org, uitgebracht op 22 oktober 2024. Het maakt deel uit van een serie die is gebouwd om de prozakwaliteit van de Claude 3 modellen te repliceren, specifiek Sonnet en Opus. Het model is fine-tuned bovenop Qwen2.5 72B, een basis met 72 miljard parameters, zodat het die basis erft terwijl het wordt afgestemd op een bepaalde schrijfstijl.

Het model accepteert tekstinvoer en retourneert tekstuitvoer, wat het in de tekstcategorie op api14 plaatst. Het heeft een contextvenster van 32768 tokens, dus prompts en gespreksgeschiedenis samen kunnen die lengte bereiken. De maximale uitvoer per verzoek is 4096 tokens, en de kennisafsluitdatum is 30 juni 2024. Alles wat na die datum is gebeurd, valt buiten wat het model tijdens training heeft geleerd.

De mogelijkheden bepalen de use cases. Omdat het model is afgestemd op prozakwaliteit in plaats van op toolgebruik of multimodaliteit, past het bij schrijfintensief werk: het opstellen en herschrijven van long-form content, het aanpassen van toon en register, redigeren voor een bepaalde stem, roleplay en personagegedreven dialoog, en het samenvatten van lange documenten die binnen het contextvenster passen. De context van 32768 tokens ondersteunt het invoeren van substantieel bronmateriaal, en het uitvoerplafond van 4096 tokens past bij hoofdstukken, artikelen en antwoorden van meerdere alinea's in plaats van zeer lange enkele generaties.

Je roept het aan via de OpenAI-compatibele API van api14 met het model id "anthracite-org/magnum-v4-72b". De API ondersteunt een brede set verzoekparameters: frequency_penalty, logit_bias, logprobs, max_tokens, min_p, presence_penalty, repetition_penalty, response_format, seed, stop, structured_outputs, temperature, top_a, top_k, top_logprobs en top_p. Structured outputs en response_format zijn beschikbaar wanneer je wilt dat het antwoord een schema volgt in plaats van vrije prose, en seed helpt wanneer je een reproduceerbaar resultaat wilt. De sampling controls laten je creativiteit en herhaling afstemmen op de taak.

Houd de limieten in gedachten bij het kiezen. Het contextvenster is 32768 tokens, dus zeer grote codebases, invoer van boeklengte of lange agent-geschiedenissen passen niet, en de maximale uitvoer van 4096 tokens sluit enkele generaties boven die lengte uit. De kennisafsluitdatum van 30 juni 2024 betekent dat recente gebeurtenissen of actuele documentatie niet bekend zijn bij het model. Als je beeldinvoer, audio of een veel grotere context nodig hebt, zou een ander model op api14 beter passen.