ReMM SLERP 13B

ReMM SLERP 13B est un modèle de génération de texte publié par Undi95 le 22 juillet 2023. Il est décrit par son fournisseur comme un essai de recréation du MythoMax-L2-B13 original à l'aide de modèles mis à jour, et il est distribué sous forme de fusion, ce qui signifie que ses poids ont été combinés à partir d'autres modèles affinés plutôt qu'entraînés à partir de zéro. Undi95 est un éditeur de modèles indépendant connu pour les fusions communautaires, il s'agit donc d'un modèle construit par la communauté plutôt que d'une publication d'origine d'un grand laboratoire.

Le modèle fonctionne avec une entrée texte et ne produit qu'une sortie texte. Il dispose d'une fenêtre de contexte de 6 144 tokens et d'une sortie maximale de 5 529 tokens, de sorte que les invites longues laissent proportionnellement moins de place pour une réponse. Sa date limite de connaissances est le 30 juin 2023, ce qui signifie que tout ce qui est postérieur à cette date sort du cadre de ce qu'il a appris pendant l'entraînement. Dans ces limites, il se comporte comme un modèle de chat généraliste suivant les instructions, et il peut être orienté avec les contrôles d'échantillonnage habituels.

Comme il s'agit d'un modèle de texte polyvalent avec une fenêtre de contexte modeste, il convient à des tâches telles que le chat et le dialogue, l'écriture et la réécriture de textes courts, le résumé de passages qui tiennent dans le contexte, la réponse à des questions sur un texte fourni, et un travail créatif léger comme l'écriture de personnages ou de scénarios. La lignée de fusion qui remonte à MythoMax-L2-B13 en fait un choix raisonnable pour les invites conversationnelles et de type jeu de rôle, où son affinage tend à produire des réponses plus expressives qu'un modèle de base simple. Il ne convient pas aux documents très longs, car 6 144 tokens ne couvrent que quelques milliers de mots, et il n'accepte ni image, ni audio, ni aucune autre entrée non textuelle.

Vous pouvez l'appeler via l'API compatible OpenAI d'api14 en utilisant l'identifiant de modèle "undi95/remm-slerp-l2-13b". Pointez votre client OpenAI existant vers l'URL de base d'api14 et envoyez une requête de complétion de chat avec cet identifiant, et les structures de requête et de réponse restent identiques à celles d'OpenAI. Le modèle prend en charge frequency_penalty, logit_bias, logprobs, max_tokens, min_p, presence_penalty, repetition_penalty, response_format, seed, stop, structured_outputs, temperature, top_a, top_k, top_logprobs et top_p. Cela couvre les paramètres d'échantillonnage standard plus quelques extras : min_p, top_a et repetition_penalty pour un contrôle plus fin de l'échantillonnage, seed pour des exécutions reproductibles, et response_format et structured_outputs lorsque vous avez besoin d'une sortie de forme définie.

Deux limites méritent d'être gardées à l'esprit. Le contexte de 6 144 tokens et le plafond de sortie de 5 529 tokens excluent le travail sur des documents longs ou de grandes bases de code, et la date limite de connaissances de juin 2023 signifie que le modèle ne connaîtra rien de plus récent. Si votre tâche nécessite une fenêtre de contexte beaucoup plus grande, des connaissances actuelles sur le monde, ou une entrée non textuelle, un autre modèle sur api14 vous servira mieux.