MythoMax 13B

MythoMax 13B is een tekstmodel van Gryphe, geïdentificeerd op api14 als gryphe/mythomax-l2-13b. Het is een fine-tune van Llama 2 13B, geproduceerd door samenvoeging in plaats van door een enkele trainingsrun, en Gryphe beschrijft het als een van de best presterende en meest populaire fine-tunes van dat basismodel. Het valt in de tekstcategorie, dus het is gebouwd voor taalwerk en niet voor afbeeldingen, audio of andere modaliteiten.

Het model neemt tekst als invoer en geeft tekst als uitvoer. Het heeft een contextvenster van 8192 tokens, wat een redelijk lange prompt plus het gegenereerde antwoord dekt, en de maximale uitvoer is 3686 tokens. De kennisafsluitdatum is 30 juni 2023, dus alles na die datum valt buiten wat het tijdens de training heeft geleerd. Gryphe benadrukt rijke beschrijvingen en roleplay als bijzondere sterke punten van deze fine-tune, wat een nuttige aanwijzing is over het soort proza dat het doorgaans produceert.

Die kenmerken wijzen op een vrij specifieke set toepassingen. De sterke punten op het gebied van roleplay en rijke beschrijvingen maken het een natuurlijke keuze voor interactieve fictie, personagegestuurde chat en het genereren van verhalen of dialogen waar toon en detail belangrijk zijn. Het contextvenster van 8192 tokens laat je een langlopend gesprek of een omvangrijke scène in beeld houden zonder voortdurend in te korten, en het uitvoerplafond van 3686 tokens ondersteunt antwoorden van meerdere alinea's. Naast creatief schrijven werkt het voor algemene tekstgeneratie en chatstijl-assistenten, hoewel je door de kennisafsluitdatum niet moet vertrouwen op vragen over gebeurtenissen na juni 2023.

Je roept het aan via de OpenAI-compatibele API van api14 met de model-id gryphe/mythomax-l2-13b, dus bestaande OpenAI-clientbibliotheken en request-vormen werken met alleen de modelnaam gewijzigd. De ondersteunde request-parameters zijn frequency_penalty, logit_bias, logprobs, max_tokens, min_p, presence_penalty, repetition_penalty, response_format, seed, stop, structured_outputs, temperature, top_a, top_k, top_logprobs en top_p. Dat is een breed sampling- en controlevlak: de gebruikelijke instellingen voor temperature, top_p, top_k en penalty, plus min_p, top_a en repetition_penalty, die gangbaar zijn in community fine-tune-workflows. Seed geeft je reproduceerbare sampling, stop-reeksen laten je de generatie afbreken bij een gekozen string, en logprobs met top_logprobs geven token-level waarschijnlijkheden weer. response_format en structured_outputs zijn beschikbaar als je de uitvoer op een bepaalde manier gevormd wilt hebben.

De belangrijkste beperkingen om in gedachten te houden zijn het contextvenster van 8192 tokens en het uitvoerplafond van 3686 tokens, samen met de kennisafsluitdatum van juni 2023. Als je taak een veel grotere context, recentere kennis of niet-tekstuele invoer vereist, past een ander model op api14 beter. Voor creatief schrijven, personagechat en algemene tekstgeneratie binnen die grenzen is dit model een redelijke keuze.