ByteDance Seed: Seed Audio 1.0

ByteDance Seed: Seed Audio 1.0 è un modello di generazione audio di ByteDance Seed, il ramo di ricerca dietro la famiglia di modelli Seed di ByteDance. Si colloca nella categoria vocale ed è descritto dal suo fornitore come un modello di generazione audio non in streaming. In altre parole, è costruito per trasformare testo in audio piuttosto che per trascrivere audio o sostenere una conversazione parlata. Se lo stai valutando, la cosa fondamentale da capire in anticipo è che si tratta di un modello di generazione, non di un modello di riconoscimento vocale o di chat.

Il modello accetta come unico input un prompt testuale in linguaggio naturale e produce come output parlato e altro audio. Il prompt non è limitato alle parole che devono essere pronunciate; può anche descrivere la voce, il tono e il suono desiderati, il che significa che lo stesso testo può essere reso in modi diversi a seconda di come scrivi il prompt. La generazione è non in streaming, quindi ricevi l'audio finito anziché un flusso di blocchi in tempo reale. Per questo modello non è pubblicata alcuna lunghezza di contesto, quindi pianifica in base al prompt anziché presumere un ampio budget di token.

Poiché l'input è un prompt che può contenere sia il copione sia una descrizione della resa, gli usi pratici ne derivano. Puoi generare battute parlate con una particolare voce o un particolare tono per narrazione, dialogo tra personaggi o lavori di voiceover. Puoi anche generare audio non parlato descrivendo il suono che desideri, il che rende il modello utile per schizzi rapidi di sound design o per produrre risorse audio che altrimenti richiederebbero una registrazione o uno strumento di sintesi separato. Qualsiasi flusso di lavoro in cui hai del testo e vuoi ottenere audio in uscita, e in cui sei disposto ad attendere un file completo anziché uno streaming, è una scelta ragionevole.

Puoi chiamare il modello tramite l'API compatibile con OpenAI di api14 usando l'id del modello "bytedance-seed/seed-audio-1-0". Poiché l'interfaccia segue il formato OpenAI, puoi puntare un client OpenAI esistente su api14 e inviare una richiesta con quell'id nel campo model. Il modello accetta input testuale e restituisce output audio. Per questo modello non sono elencati parametri di richiesta oltre a quelli di base, quindi mantieni le richieste semplici e inserisci la direzione su voce, tono e suono nel testo del prompt stesso anziché in parametri separati.

Ci sono un paio di casi in cui un altro modello può esserti più utile. Se hai bisogno dell'audio mentre viene prodotto, questo modello è non in streaming, quindi un modello vocale in streaming sarebbe la scelta migliore. Se il tuo compito è trascrivere o comprendere l'audio anziché crearlo, ti serve un modello di riconoscimento vocale, poiché Seed Audio 1.0 accetta solo testo e restituisce solo audio. E se hai bisogno di una finestra di contesto pubblicata per pianificare prompt lunghi, quel dato non è disponibile qui, quindi un modello con limiti documentati può essere più facile da valutare.