Sesame: CSM 1B

Sesame: CSM 1B to model mowy konwersacyjnej od Sesame. Należy do kategorii mowy i jest identyfikowany w api14 przez identyfikator modelu sesame/csm-1b. Dostawca opisuje go jako model o 1B parametrów, co czyni go stosunkowo małą opcją do generowania mowy z tekstu pisanego.

Model przyjmuje tekst jako jedyne wejście i produkuje mowę jako jedyne wyjście, konkretnie mowę angielską. Ma długość kontekstu 4096 tokenów i maksymalne wyjście 3686 tokenów. Wybór głosu jest częścią tego, co oferuje model: dostępne głosy to conversational_a, conversational_b, read_speech_a, read_speech_b, read_speech_c, read_speech_d oraz none. Podział między stylami mowy konwersacyjnej i czytanej oznacza, że można dążyć do tonu wymiany zdań lub bardziej formalnego tonu narracji, w zależności od wybranego głosu.

Te możliwości wskazują na dość jasny zestaw zastosowań. Ponieważ wejściem jest tekst, a wyjściem audio, CSM 1B pasuje do pracy, w której masz już scenariusz lub blok tekstu i potrzebujesz go wypowiedzianego na głos. Głosy konwersacyjne pasują do treści w stylu dialogu, asystentów, którzy odpowiadają, lub interaktywnych doświadczeń, w których liczy się naturalny ton mówienia. Głosy mowy czytanej pasują do narracji, czytania artykułów lub dokumentów na głos oraz każdego przypadku, w którym pożądana jest stała, prezentacyjna dostawa. Opcja none jest dostępna, gdy nie chcesz przypisywać wyjścia do nazwanego głosu. Ponieważ model jest mały i ma 1B parametrów, jest rozsądnym kandydatem, gdy chcesz generować mowę bez dużego modelu za tym.

Wywołujesz go przez API zgodne z OpenAI w api14, używając identyfikatora modelu sesame/csm-1b. Ponieważ API jest zgodne z formatem OpenAI, wysyłasz żądanie w zwykły sposób i ustawiasz pole model na ten identyfikator, a swój tekst jako wejście. Lista obsługiwanych parametrów modelu jest pusta, więc nie ma dodatkowych parametrów dostrajania do przekazania poza tym, czego wymaga sam format żądania. Wybór głosu jest udostępniany przez głosy wymienione powyżej, więc jeśli potrzebujesz określonego stylu dostawy, wybierz pasujący głos, zamiast polegać na ustawieniach próbkowania.

Istnieją ograniczenia, które warto znać przed podjęciem decyzji. Okno kontekstu wynosi 4096 tokenów, a maksymalne wyjście to 3686 tokenów, więc bardzo długie scenariusze będą wymagały podzielenia na wiele żądań. Wyjściem jest wyłącznie mowa angielska, a wejściem wyłącznie tekst, więc model nie obsługuje wejścia audio ani wyjścia w językach innych niż angielski. Jeśli Twoje zadanie wymaga innego trybu wyjścia, dłuższego kontekstu lub konfigurowalnych parametrów generowania, inny model w api14 może pasować lepiej.