ElevenLabs: Eleven v3 Conversational

Eleven v3 Conversational est un modèle de synthèse vocale d'ElevenLabs. C'est une variante d'Eleven v3 que le fournisseur a ajustée spécifiquement pour le dialogue naturel dans les agents conversationnels, plutôt que pour la narration ponctuelle. Si vous construisez un agent vocal, un assistant interactif ou tout produit où la sortie parlée doit ressembler à un côté d'un échange aller-retour, c'est le modèle qu'ElevenLabs positionne pour ce rôle.

Le modèle prend du texte comme seule entrée et renvoie de la parole comme seule sortie. C'est un modèle de parole, donc il ne génère pas de texte, ne raisonne pas sur des documents et n'appelle pas d'outils ; il transforme le texte que vous lui envoyez en audio. ElevenLabs indique qu'il prend en charge plus de 70 langues et qu'une requête est limitée à 5 000 caractères. Le modèle expose un ensemble fixe de 21 voix : george, sarah, adam, alice, bella, bill, brian, callum, charlie, chris, daniel, eric, harry, jessica, laura, liam, lily, matilda, river, roger et will. Aucune longueur de contexte en tokens n'est publiée pour ce modèle, et aucun paramètre de requête n'est listé comme pris en charge.

Les usages pratiques découlent directement de cette forme. Les agents conversationnels et les assistants vocaux sont le choix évident, puisque le modèle est ajusté pour le dialogue plutôt que pour la lecture longue. Les mêmes propriétés conviennent aux personnages interactifs dans les jeux ou les applications, aux réponses parlées dans les flux de support client, et à toute interface où un utilisateur tape ou parle et attend une réponse parlée. La prise en charge de plus de 70 langues le rend utilisable pour des produits multilingues, et la limite de 5 000 caractères par requête est généreuse pour les tours courts qu'implique généralement une conversation. Comme la sortie est uniquement de la parole, vous le couplerez avec un modèle de texte distinct si vous avez aussi besoin que l'agent génère ou raisonne sur le texte de la réponse.

Vous l'appelez via l'API compatible OpenAI d'api14 en utilisant l'id de modèle elevenlabs/eleven-v3-conversational. Comme le point de terminaison suit le format OpenAI, vous pouvez pointer un client OpenAI existant vers api14 et envoyer une requête de la même manière que pour tout autre modèle, en sélectionnant cet id et en fournissant le texte à prononcer ainsi que la voix souhaitée. Le modèle ne liste aucun paramètre de requête pris en charge, donc traitez la requête comme du texte en entrée et de l'audio en sortie, avec la sélection de la voix parmi les 21 voix disponibles, et évitez de supposer que des réglages comme temperature ou top_p auront un effet.

Les principales limites à garder en tête sont celles indiquées ci-dessus : texte en entrée, parole en sortie, un plafond de 5 000 caractères par requête et une liste de voix fixe. Si votre tâche est la transcription, la traduction de l'audio ou quoi que ce soit qui nécessite une réponse textuelle, ce modèle n'est pas le bon outil et un modèle de texte ou de compréhension audio conviendrait mieux. Dans son domaine, cependant, c'est un choix simple pour les développeurs qui veulent de la parole conversationnelle sans gérer eux-mêmes la pile vocale sous-jacente.