Sesame: CSM 1B

Sesame : CSM 1B est un modèle de parole conversationnelle de Sesame. Il appartient à la catégorie parole et est identifié sur api14 par l'identifiant de modèle sesame/csm-1b. Le fournisseur le décrit comme un modèle de 1B paramètres, ce qui en fait une option relativement petite pour générer de l'audio parlé à partir de texte écrit.

Le modèle prend le texte comme seule entrée et produit de la parole comme seule sortie, précisément de la parole anglaise. Il a une longueur de contexte de 4096 tokens et une sortie maximale de 3686 tokens. La sélection de la voix fait partie de ce que le modèle propose : les voix disponibles sont conversational_a, conversational_b, read_speech_a, read_speech_b, read_speech_c, read_speech_d et none. La séparation entre les styles de parole conversationnelle et de lecture signifie que vous pouvez viser un ton d'échange ou un ton de narration plus formel selon la voix que vous choisissez.

Ces capacités indiquent un ensemble d'usages assez clair. Comme l'entrée est du texte et la sortie de l'audio, CSM 1B convient aux travaux où vous avez déjà un script ou un bloc de texte et avez besoin qu'il soit lu à voix haute. Les voix conversationnelles conviennent aux contenus de style dialogue, aux assistants qui répondent, ou aux expériences interactives où un ton de parole naturel compte. Les voix de lecture conviennent à la narration, à la lecture d'articles ou de documents à voix haute, et à tout cas où une diction stable et présentative est souhaitée. L'option none est disponible lorsque vous ne voulez pas fixer la sortie à une voix nommée. Comme le modèle est petit avec 1B paramètres, il est un candidat raisonnable lorsque vous voulez une génération de parole sans un grand modèle derrière.

Vous l'appelez via l'API compatible OpenAI d'api14 en utilisant l'identifiant de modèle sesame/csm-1b. Comme l'API suit le format OpenAI, vous envoyez une requête de la manière habituelle et définissez le champ model sur cet identifiant, avec votre texte comme entrée. La liste des paramètres pris en charge par le modèle est vide, donc il n'y a pas de paramètres de réglage supplémentaires à transmettre au delà de ce que le format de requête lui même exige. Le choix de la voix est exposé via les voix listées ci dessus, donc si vous avez besoin d'un style de diction spécifique, sélectionnez la voix correspondante plutôt que de vous fier aux paramètres d'échantillonnage.

Il y a des limites qu'il vaut la peine de connaître avant de vous engager. La fenêtre de contexte est de 4096 tokens et la sortie maximale est de 3686 tokens, donc les scripts très longs devront être découpés en plusieurs requêtes. La sortie est uniquement de la parole anglaise, et l'entrée est uniquement du texte, donc le modèle ne gère pas l'entrée audio ni la sortie dans une autre langue que l'anglais. Si votre tâche nécessite une modalité de sortie différente, un contexte plus long, ou des paramètres de génération réglables, un autre modèle sur api14 pourrait mieux convenir.