ByteDance Seed: Seed Audio 1.0

ByteDance Seed: Seed Audio 1.0 to model generowania audio od ByteDance Seed, ramienia badawczego stojącego za rodziną modeli Seed firmy ByteDance. Należy do kategorii mowy i jest opisywany przez dostawcę jako niestrumieniowy model generowania audio. Innymi słowy, został stworzony do zamiany tekstu na audio, a nie do transkrypcji audio lub prowadzenia rozmowy głosowej. Jeśli go oceniasz, kluczową rzeczą do zrozumienia na wstępie jest to, że jest to model generowania, a nie model rozpoznawania mowy lub czatu.

Model przyjmuje jako jedyne wejście prompt tekstowy w języku naturalnym i produkuje mowę oraz inne audio jako wyjście. Prompt nie ogranicza się do słów, które chcesz wypowiedzieć; może również opisywać pożądany głos, ton i dźwięk, co oznacza, że ten sam tekst można wyrenderować na różne sposoby w zależności od tego, jak napiszesz prompt. Generowanie jest niestrumieniowe, więc otrzymujesz gotowe audio, a nie strumień fragmentów na żywo. Dla tego modelu nie opublikowano długości kontekstu, więc planuj w oparciu o sam prompt, zamiast zakładać duży budżet tokenów.

Ponieważ wejściem jest prompt, który może zawierać zarówno scenariusz, jak i opis sposobu wypowiedzi, wynikają z tego praktyczne zastosowania. Możesz generować wypowiadane kwestie z określonym głosem lub tonem do narracji, dialogów postaci lub pracy lektorskiej. Możesz także generować audio inne niż mowa, opisując pożądany dźwięk, co czyni model użytecznym do szybkich szkiców projektowania dźwięku lub do tworzenia zasobów audio, które w innym wypadku wymagałyby nagrania lub osobnego narzędzia do syntezy. Każdy przepływ pracy, w którym masz tekst i chcesz otrzymać audio, oraz w którym możesz poczekać na kompletny plik zamiast strumieniować go, jest rozsądnym zastosowaniem.

Model wywołujesz przez zgodne z OpenAI API api14, używając identyfikatora modelu "bytedance-seed/seed-audio-1-0". Ponieważ interfejs jest zgodny z formatem OpenAI, możesz skierować istniejącego klienta OpenAI na api14 i wysłać żądanie z tym identyfikatorem w polu model. Model przyjmuje wejście tekstowe i zwraca wyjście audio. Dla tego modelu nie podano jako obsługiwanych żadnych parametrów żądania poza podstawowymi, więc utrzymuj żądania proste i umieszczaj wskazówki dotyczące głosu, tonu i dźwięku w samym tekście promptu, a nie w osobnych parametrach.

Istnieje kilka przypadków, w których inny model może pasować lepiej. Jeśli potrzebujesz audio w miarę jego powstawania, ten model jest niestrumieniowy, więc lepszym wyborem byłby strumieniowy model mowy. Jeśli twoim zadaniem jest transkrypcja lub rozumienie audio, a nie jego tworzenie, potrzebujesz modelu rozpoznawania mowy, ponieważ Seed Audio 1.0 przyjmuje wyłącznie tekst i zwraca wyłącznie audio. A jeśli potrzebujesz opublikowanego okna kontekstu do planowania długich promptów, ta wartość nie jest tutaj dostępna, więc model z udokumentowanymi limitami może być łatwiejszy do przemyślenia.