MythoMax 13B

MythoMax 13B è un modello testuale di Gryphe, identificato su api14 come gryphe/mythomax-l2-13b. È un fine-tune di Llama 2 13B, prodotto tramite merging anziché con una singola sessione di addestramento, e Gryphe lo descrive come uno dei fine-tune con le prestazioni più alte e più popolari di quel modello base. Si colloca nella categoria testo, quindi è pensato per il lavoro sul linguaggio e non per immagini, audio o altre modalità.

Il modello prende testo in input e restituisce testo in output. Ha una finestra di contesto di 8192 token, che copre un prompt ragionevolmente lungo più la risposta generata, e il suo output massimo è di 3686 token. Il suo knowledge cutoff è il 30 giugno 2023, quindi tutto ciò che viene dopo quella data è fuori da ciò che ha appreso durante l'addestramento. Gryphe mette in evidenza descrizioni ricche e roleplay come punti di forza particolari di questo fine-tune, che è un segnale utile sul tipo di prosa che tende a produrre.

Queste caratteristiche indicano un insieme di utilizzi piuttosto specifico. I punti di forza nel roleplay e nelle descrizioni ricche lo rendono adatto per narrativa interattiva, chat guidata dai personaggi e generazione di narrazione o dialoghi dove tono e dettaglio contano. Il contesto di 8192 token permette di mantenere in vista una conversazione lunga o una scena sostanziosa senza dover tagliare continuamente, e il limite di output di 3686 token supporta risposte che arrivano a diversi paragrafi. Oltre alla scrittura creativa, funziona per la generazione testuale generale e per assistenti in stile chat, anche se il knowledge cutoff significa che non dovresti affidarti a esso per domande su eventi successivi a giugno 2023.

Lo richiami tramite l'API compatibile con OpenAI di api14 usando il model id gryphe/mythomax-l2-13b, quindi le librerie client OpenAI esistenti e le forme delle richieste funzionano cambiando solo il nome del modello. I parametri di richiesta supportati sono frequency_penalty, logit_bias, logprobs, max_tokens, min_p, presence_penalty, repetition_penalty, response_format, seed, stop, structured_outputs, temperature, top_a, top_k, top_logprobs e top_p. Si tratta di una vasta superficie di campionamento e controllo: le solite impostazioni temperature, top_p, top_k e penalty, più min_p, top_a e repetition_penalty, comuni nei flussi di lavoro comunitari sui fine-tune. Seed ti dà un campionamento riproducibile, le sequenze stop ti permettono di interrompere la generazione a una stringa scelta, e logprobs con top_logprobs espongono le probabilità a livello di token. response_format e structured_outputs sono disponibili se hai bisogno che l'output sia modellato in un modo particolare.

I limiti principali da tenere a mente sono il contesto di 8192 token e il tetto di output di 3686 token, insieme al knowledge cutoff di giugno 2023. Se il tuo compito richiede un contesto molto più ampio, conoscenze più recenti o input non testuale, un modello diverso su api14 sarà più adatto. Per scrittura creativa, chat con personaggi e generazione testuale generale entro questi limiti, questo modello è una scelta ragionevole.