Magnum v4 72B

Magnum v4 72B è un modello di generazione di testo di Anthracite Org, rilasciato il 22 ottobre 2024. Fa parte di una serie creata per replicare la qualità della prosa dei modelli Claude 3, in particolare Sonnet e Opus. Il modello è fine-tuned su Qwen2.5 72B, una base da 72 miliardi di parametri, quindi eredita quella base pur essendo ottimizzato per uno stile di scrittura particolare.

Il modello accetta input testuale e restituisce output testuale, il che lo colloca nella categoria testo su api14. Ha una finestra di contesto di 32768 token, quindi prompt e cronologia della conversazione insieme possono arrivare a quella lunghezza. L'output massimo per richiesta è di 4096 token, e il knowledge cutoff è il 30 giugno 2024. Qualsiasi cosa accaduta dopo quella data è al di fuori di ciò che il modello ha appreso durante l'addestramento.

Le capacità definiscono i casi d'uso. Poiché il modello è stato ottimizzato per la qualità della prosa anziché per l'uso di strumenti o la multimodalità, si adatta a lavori a forte componente di scrittura: redazione e riscrittura di contenuti long-form, adattamento di tono e registro, editing per una voce particolare, roleplay e dialogo guidato dai personaggi, e riassunto di documenti lunghi che rientrano nella finestra di contesto. Il contesto di 32768 token supporta il passaggio di materiale sorgente sostanzioso, e il tetto di output di 4096 token si adatta a capitoli, articoli e risposte multi-paragrafo piuttosto che a generazioni singole molto lunghe.

Lo si chiama tramite l'API compatibile con OpenAI di api14 usando il model id "anthracite-org/magnum-v4-72b". L'API supporta un ampio insieme di parametri di richiesta: frequency_penalty, logit_bias, logprobs, max_tokens, min_p, presence_penalty, repetition_penalty, response_format, seed, stop, structured_outputs, temperature, top_a, top_k, top_logprobs e top_p. Gli structured outputs e response_format sono disponibili quando serve che la risposta segua uno schema anziché una prosa libera, e seed aiuta quando si vuole un risultato riproducibile. I controlli di campionamento permettono di calibrare creatività e ripetizione in base al compito.

Tenere presenti i limiti al momento della scelta. La finestra di contesto è di 32768 token, quindi codebase molto grandi, input lunghi quanto un intero libro o lunghe cronologie di agenti non rientrano, e l'output massimo di 4096 token esclude generazioni singole oltre quella lunghezza. Il knowledge cutoff del 30 giugno 2024 significa che eventi recenti o documentazione attuale non sono noti al modello. Se serve input di immagini, audio o un contesto molto più ampio, un altro modello su api14 sarebbe più adatto.