NVIDIA: Nemotron 3.5 ASR Streaming Multilingual 0.6B

NVIDIA: Nemotron 3.5 ASR Streaming Multilingual 0.6B é um modelo de reconhecimento de fala da NVIDIA. Pertence à família Nemotron 3.5 e é distribuído através da api14 sob o id de modelo nvidia/nemotron-3.5-asr-streaming-multilingual-0.6b. O seu design centra-se no reconhecimento automático de fala em vez da geração geral de texto, pelo que é melhor entendido como um componente dedicado de transcrição e não como um modelo de chat.

O modelo recebe áudio como entrada e produz uma transcrição como saída. A sua arquitetura é um design FastConformer-RNNT condicionado por prompt e ciente de cache, concebido para reconhecimento em streaming com baixa latência. É multilingue, abrangendo mais de 40 idiomas, e o comportamento de streaming significa que o áudio pode ser transcrito incrementalmente à medida que chega, em vez de apenas depois de uma gravação completa estar disponível. Não é publicada qualquer extensão de contexto em tokens para este modelo, e a saída máxima é indicada como zero, o que reflete que a sua saída é um fluxo de transcrição e não um orçamento de tokens no sentido habitual.

Estas características apontam para um conjunto bastante específico de utilizações. A legendagem em tempo real é o encaixe mais claro, uma vez que o design de streaming se destina a emitir texto enquanto a fala ainda está em curso. O mesmo se aplica à transcrição ao vivo para reuniões, emissões ou qualquer feed de áudio em que esperar pelo ficheiro completo seria demasiado lento. Como o modelo abrange mais de 40 idiomas, também se adequa a aplicações que servem públicos multilingues e precisam de um único componente de reconhecimento em vez de um modelo por idioma. As interfaces de voz que precisam de converter entrada falada em texto antes de a passar para um sistema a jusante são outra utilização natural.

Chama o modelo através da API compatível com OpenAI da api14 usando o id de modelo nvidia/nemotron-3.5-asr-streaming-multilingual-0.6b. Como a interface segue o formato OpenAI, os clientes e SDKs existentes que já visam esse formato podem ser apontados para a api14 sem reescrever código. O modelo aceita entrada de áudio e devolve uma transcrição. Não está listado qualquer parâmetro de pedido como suportado para este modelo, pelo que não deve assumir que opções como temperature, top_p ou controlos de amostragem semelhantes estão disponíveis; envie o áudio e leia a transcrição de volta.

Vale a pena verificar se um modelo ASR dedicado é o que a sua aplicação necessita. Este modelo não aceita entrada de texto e não produz conclusões de texto gerais, pelo que tarefas como resumir uma transcrição, responder a perguntas sobre ela ou traduzi-la exigem um modelo de linguagem separado a jusante. Se o seu áudio não estiver num dos idiomas suportados, ou se precisar de um modelo de texto para texto, um modelo diferente na api14 encaixará melhor.