NVIDIA: Nemotron 3.5 ASR Streaming Multilingual 0.6B

NVIDIA: Nemotron 3.5 ASR Streaming Multilingual 0.6B è un modello di riconoscimento vocale di NVIDIA. Appartiene alla famiglia Nemotron 3.5 ed è distribuito tramite api14 con l'id del modello nvidia/nemotron-3.5-asr-streaming-multilingual-0.6b. Il suo design è incentrato sul riconoscimento automatico del parlato piuttosto che sulla generazione di testo generico, quindi è meglio intenderlo come un componente dedicato alla trascrizione anziché come un modello di chat.

Il modello prende l'audio come input e produce una trascrizione come output. La sua architettura è un design FastConformer-RNNT condizionato dal prompt e consapevole della cache, pensato per il riconoscimento in streaming con bassa latenza. È multilingue, con oltre 40 lingue supportate, e il comportamento in streaming significa che l'audio può essere trascritto in modo incrementale man mano che arriva, invece che solo dopo che una registrazione completa è disponibile. Non è pubblicata alcuna lunghezza di contesto in token per questo modello, e l'output massimo è indicato come zero, il che riflette il fatto che il suo output è un flusso di trascrizione anziché un budget di token nel senso usuale.

Queste caratteristiche indicano un insieme di utilizzi piuttosto specifico. I sottotitoli in tempo reale sono la corrispondenza più chiara, dato che il design in streaming è pensato per emettere testo mentre il parlato è ancora in corso. Lo stesso vale per la trascrizione dal vivo di riunioni, trasmissioni o qualsiasi flusso audio in cui attendere il file completo sarebbe troppo lento. Poiché il modello copre più di 40 lingue, si adatta anche ad applicazioni che servono un pubblico multilingue e necessitano di un singolo componente di riconoscimento anziché di un modello per lingua. Le interfacce vocali che devono convertire l'input parlato in testo prima di passarlo a un sistema a valle sono un altro utilizzo naturale.

Si chiama il modello tramite l'API compatibile con OpenAI di api14 usando l'id del modello nvidia/nemotron-3.5-asr-streaming-multilingual-0.6b. Poiché l'interfaccia segue il formato OpenAI, i client e gli SDK esistenti che già puntano a quella forma possono essere indirizzati ad api14 senza riscritture. Il modello accetta input audio e restituisce una trascrizione. Nessun parametro di richiesta è elencato come supportato per questo modello, quindi non si dovrebbe presumere che opzioni come temperature, top_p o controlli di campionamento simili siano disponibili; si invia l'audio e si legge la trascrizione restituita.

Vale la pena verificare che un modello ASR dedicato sia ciò di cui la vostra applicazione ha bisogno. Questo modello non accetta input di testo e non produce completamenti di testo generici, quindi attività come riassumere una trascrizione, rispondere a domande su di essa o tradurla richiedono un modello linguistico separato a valle. Se il vostro audio non è in una delle lingue supportate, o se avete bisogno di un modello text-in, text-out, un modello diverso su api14 sarà più adatto.