Sesame: CSM 1B

Sesame: CSM 1B è un modello di parlato conversazionale di Sesame. Si colloca nella categoria speech ed è identificato su api14 con il model id sesame/csm-1b. Il provider lo descrive come un modello da 1B parametri, il che lo rende un'opzione relativamente piccola per generare audio parlato da testo scritto.

Il modello accetta testo come unico input e produce parlato come unico output, nello specifico parlato in inglese. Ha una lunghezza di contesto di 4096 token e un output massimo di 3686 token. La selezione della voce fa parte di ciò che il modello offre: le voci disponibili sono conversational_a, conversational_b, read_speech_a, read_speech_b, read_speech_c, read_speech_d e none. La distinzione tra stili di parlato conversazionale e di lettura significa che puoi puntare a un tono botta e risposta oppure a un tono di narrazione più formale a seconda della voce che scegli.

Queste capacità indicano un insieme di utilizzi abbastanza chiaro. Poiché l'input è testo e l'output è audio, CSM 1B si adatta a lavori in cui hai già uno script o un blocco di testo e ti serve che venga letto ad alta voce. Le voci conversazionali si prestano a contenuti in stile dialogo, assistenti che rispondono, o esperienze interattive in cui conta un tono di parlato naturale. Le voci di lettura si prestano a narrazione, lettura ad alta voce di articoli o documenti, e a qualsiasi caso in cui si desideri una consegna stabile e presentazionale. L'opzione none è disponibile quando non vuoi vincolare l'output a una voce denominata. Poiché il modello è piccolo, con 1B parametri, è un candidato ragionevole quando vuoi generazione di parlato senza un modello di grandi dimensioni alle spalle.

Lo chiami tramite l'API compatibile con OpenAI di api14 usando il model id sesame/csm-1b. Poiché l'API segue il formato OpenAI, invii una richiesta nel modo usuale e imposti il campo model a quel id, con il tuo testo come input. La lista dei parametri supportati dal modello è vuota, quindi non ci sono parametri di tuning extra da passare oltre a quanto richiede il formato della richiesta stesso. La scelta della voce è esposta tramite le voci elencate sopra, quindi se ti serve uno stile di consegna specifico, seleziona la voce corrispondente invece di affidarti alle impostazioni di campionamento.

Ci sono limiti che vale la pena conoscere prima di impegnarti. La finestra di contesto è di 4096 token e l'output massimo è di 3686 token, quindi script molto lunghi dovranno essere suddivisi tra più richieste. L'output è solo parlato in inglese, e l'input è solo testo, quindi il modello non gestisce input audio né output in lingue diverse dall'inglese. Se il tuo compito richiede una modalità di output diversa, un contesto più lungo, o parametri di generazione regolabili, un altro modello su api14 potrebbe essere più adatto.