Sesame: CSM 1B

Sesame: CSM 1B is een conversationeel spraakmodel van Sesame. Het valt in de categorie spraak en wordt op api14 geïdentificeerd door het model-id sesame/csm-1b. De provider beschrijft het als een model met 1B parameters, wat het een relatief kleine optie maakt voor het genereren van gesproken audio uit geschreven tekst.

Het model neemt tekst als enige invoer en produceert spraak als enige uitvoer, specifiek Engelse spraak. Het heeft een contextlengte van 4096 tokens en een maximale uitvoer van 3686 tokens. Stemselectie is onderdeel van wat het model biedt: de beschikbare stemmen zijn conversational_a, conversational_b, read_speech_a, read_speech_b, read_speech_c, read_speech_d en none. De splitsing tussen conversationele en voorgelezen spraakstijlen betekent dat je kunt mikken op een heen en weer toon of een meer formele verteltoon, afhankelijk van de stem die je kiest.

Die mogelijkheden wijzen op een vrij duidelijke set toepassingen. Omdat de invoer tekst is en de uitvoer audio, past CSM 1B bij werk waarbij je al een script of een blok tekst hebt en het hardop uitgesproken wilt hebben. De conversationele stemmen passen bij inhoud in dialoogstijl, assistenten die terugpraten, of interactieve ervaringen waarbij een natuurlijke spreektoon belangrijk is. De voorgelezen spraakstemmen passen bij vertelling, het hardop lezen van artikelen of documenten, en elk geval waarin een stabiele, presentationele voordracht gewenst is. De none optie is beschikbaar wanneer je de uitvoer niet aan een benoemde stem wilt vastpinnen. Omdat het model met 1B parameters klein is, is het een redelijke kandidaat wanneer je spraakgeneratie wilt zonder een groot model erachter.

Je roept het aan via de OpenAI-compatibele API van api14 met het model-id sesame/csm-1b. Omdat de API het OpenAI-formaat volgt, stuur je een verzoek op de gebruikelijke manier en stel je het modelveld in op dat id, met je tekst als invoer. De lijst met ondersteunde parameters van het model is leeg, dus er zijn geen extra afstelparameters om door te geven naast wat het verzoekformaat zelf vereist. Stemkeuze wordt beschikbaar gesteld via de hierboven genoemde stemmen, dus als je een specifieke voordrachtstijl nodig hebt, selecteer je de bijpassende stem in plaats van te vertrouwen op sampling-instellingen.

Er zijn beperkingen die het waard zijn om te kennen voordat je je vastlegt. Het contextvenster is 4096 tokens en de maximale uitvoer is 3686 tokens, dus zeer lange scripts moeten over meerdere verzoeken worden opgesplitst. De uitvoer is alleen Engelse spraak, en de invoer is alleen tekst, dus het model verwerkt geen audio-invoer of niet-Engelse uitvoer. Als je taak een andere uitvoermodaliteit, een langere context of instelbare generatieparameters nodig heeft, past een ander model op api14 mogelijk beter.