NVIDIA: Nemotron 3.5 ASR Streaming Multilingual 0.6B

NVIDIA: Nemotron 3.5 ASR Streaming Multilingual 0.6B to model rozpoznawania mowy od NVIDIA. Należy do rodziny Nemotron 3.5 i jest dystrybuowany przez api14 pod identyfikatorem modelu nvidia/nemotron-3.5-asr-streaming-multilingual-0.6b. Jego konstrukcja koncentruje się na automatycznym rozpoznawaniu mowy, a nie na ogólnym generowaniu tekstu, więc najlepiej rozumieć go jako dedykowany komponent transkrypcji, a nie model czatu.

Model przyjmuje jako dane wejściowe dźwięk i zwraca transkrypcję jako dane wyjściowe. Jego architektura to oparty na podpowiedziach, świadomy pamięci podręcznej projekt FastConformer-RNNT, który został stworzony do rozpoznawania strumieniowego z niskim opóźnieniem. Jest wielojęzyczny, obsługuje ponad 40 języków, a zachowanie strumieniowe oznacza, że dźwięk może być transkrybowany przyrostowo w miarę napływania, a nie dopiero po udostępnieniu pełnego nagrania. Dla tego modelu nie opublikowano długości kontekstu w tokenach, a maksymalne wyjście jest podane jako zero, co odzwierciedla fakt, że jego wyjściem jest strumień transkrypcji, a nie budżet tokenów w zwykłym sensie.

Te cechy wskazują na dość konkretny zestaw zastosowań. Podpisywanie w czasie rzeczywistym jest najbardziej oczywistym dopasowaniem, ponieważ projekt strumieniowy ma na celu emitowanie tekstu, gdy mowa wciąż trwa. To samo dotyczy transkrypcji na żywo dla spotkań, transmisji lub dowolnego strumienia audio, w którym czekanie na pełny plik byłoby zbyt wolne. Ponieważ model obejmuje ponad 40 języków, nadaje się również do aplikacji obsługujących wielojęzycznych odbiorców, które potrzebują jednego komponentu rozpoznawania, a nie jednego modelu na język. Interfejsy głosowe, które muszą przekształcić mowę wejściową w tekst przed przekazaniem go do systemu niższego poziomu, to kolejne naturalne zastosowanie.

Model wywołujesz przez zgodne z OpenAI API api14, używając identyfikatora modelu nvidia/nemotron-3.5-asr-streaming-multilingual-0.6b. Ponieważ interfejs jest zgodny z formatem OpenAI, istniejące klienty i zestawy SDK, które już obsługują ten kształt, można skierować do api14 bez przepisywania. Model przyjmuje dźwięk wejściowy i zwraca transkrypcję. Dla tego modelu nie wymieniono żadnych obsługiwanych parametrów żądania, więc nie należy zakładać, że dostępne są opcje takie jak temperature, top_p lub podobne mechanizmy próbkowania; wyślij dźwięk i odczytaj transkrypcję z powrotem.

Warto sprawdzić, czy Twoja aplikacja potrzebuje właśnie dedykowanego modelu ASR. Ten model nie przyjmuje tekstu wejściowego i nie tworzy ogólnych uzupełnień tekstu, więc zadania takie jak streszczanie transkrypcji, odpowiadanie na pytania o nią lub tłumaczenie jej wymagają osobnego modelu językowego na dalszym etapie. Jeśli Twój dźwięk nie jest w jednym z obsługiwanych języków albo potrzebujesz modelu tekst na wejściu, tekst na wyjściu, lepiej dopasuje się inny model w api14.