ReMM SLERP 13B

ReMM SLERP 13B è un modello di generazione di testo rilasciato da Undi95 il 22 luglio 2023. È descritto dal suo provider come un tentativo di ricreazione dell'originale MythoMax-L2-B13 utilizzando modelli aggiornati, ed è distribuito come merge, il che significa che i suoi pesi sono stati combinati da altri modelli fine-tuned anziché addestrati da zero. Undi95 è un editore indipendente di modelli noto per i merge della community, quindi questo è un modello costruito dalla community e non un rilascio first-party di un grande laboratorio.

Il modello funziona con input di testo e produce solo output di testo. Ha una finestra di contesto di 6.144 token e un output massimo di 5.529 token, quindi i prompt lunghi lasciano corrispondentemente meno spazio per una risposta. Il suo knowledge cutoff è il 30 giugno 2023, il che significa che tutto ciò che è successivo a quella data è al di fuori di ciò che ha appreso durante l'addestramento. Entro questi limiti si comporta come un modello di chat generico che segue istruzioni, e può essere guidato con i consueti controlli di campionamento.

Poiché è un modello di testo generico con una finestra di contesto modesta, si adatta a compiti come chat e dialogo, scrittura e riscrittura breve, riassunto di passaggi che rientrano nel contesto, risposta a domande su testo fornito e lavoro creativo leggero come la scrittura di personaggi o scenari. La discendenza del merge che risale a MythoMax-L2-B13 lo rende una scelta ragionevole per prompt conversazionali e in stile roleplay, dove il suo tuning tende a produrre risposte più espressive rispetto a un modello base semplice. Non è adatto a documenti molto lunghi, poiché 6.144 token coprono solo poche migliaia di parole, e non ha input di immagini, audio o altri input non testuali.

Puoi chiamarlo tramite l'API compatibile con OpenAI di api14 usando l'id del modello "undi95/remm-slerp-l2-13b". Punta il tuo client OpenAI esistente sull'URL di base di api14 e invia una richiesta di chat completion con quell'id, e le forme della richiesta e della risposta restano le stesse di quelle di OpenAI. Il modello supporta frequency_penalty, logit_bias, logprobs, max_tokens, min_p, presence_penalty, repetition_penalty, response_format, seed, stop, structured_outputs, temperature, top_a, top_k, top_logprobs e top_p. Questo copre i parametri di campionamento standard più alcuni extra: min_p, top_a e repetition_penalty per un controllo più fine del campionamento, seed per esecuzioni riproducibili, e response_format e structured_outputs quando hai bisogno dell'output in una forma definita.

Vale la pena tenere a mente due limiti. Il contesto di 6.144 token e il limite di output di 5.529 token escludono il lavoro su documenti lunghi o basi di codice estese, e il knowledge cutoff di giugno 2023 significa che il modello non saprà nulla di più recente. Se il tuo compito richiede una finestra di contesto molto più ampia, conoscenza attuale del mondo o input non testuali, un modello diverso su api14 ti servirà meglio.