NVIDIA: Parakeet TDT 0.6B v3

NVIDIA: Parakeet TDT 0.6B v3 to model zamiany mowy na tekst firmy NVIDIA. Jest to model o 600 milionach parametrów zbudowany na architekturze FastConformer-TDT, wytrenowany na zbiorze danych Granary, który zawiera ponad 670 000 godzin nagrań audio. Model jest pozycjonowany jako wielojęzyczny system transkrypcji i obsługuje automatyczne wykrywanie języka w zakresie języków, które obejmuje. Jeśli już pracujesz w ekosystemie NVIDIA lub po prostu potrzebujesz kompaktowego, wyspecjalizowanego modelu transkrypcji, to jest właśnie taki model, który oceniałbyś na podstawie jego architektury i danych treningowych, a nie ogólnych zdolności rozumowania.

Model ma jeden cel. Jego jedynym modalem wejściowym jest audio, a jedynym modalem wyjściowym jest transkrypcja. Nie przyjmuje podpowiedzi tekstowych w zwykłym sensie czatu i nie generuje odpowiedzi konwersacyjnych. Ponieważ jest to dedykowany model transkrypcji, a nie model językowy ogólnego przeznaczenia, nie ma okna kontekstu mierzonego w tokenach ani maksymalnej długości wyjścia w takim sensie, w jakim podałby to model czatu; istotne limity dotyczą długości i formatu audio, a nie rozmiaru podpowiedzi. Dla tego modelu na api14 nie wymieniono żadnych obsługiwanych parametrów żądania, więc należy oczekiwać wysłania prostego żądania transkrypcji bez opcji dostrajania.

Przypadki użycia wynikają bezpośrednio z tej konstrukcji. Model nadaje się do transkrypcji wsadowej lub na żądanie nagranego audio, takiego jak nagrania spotkań, wywiady, notatki głosowe czy nagrania rozmów. Ponieważ wykonuje automatyczne wykrywanie języka w wielu językach, może być rozsądnym wyborem, gdy nie znasz z góry języka audio i nie chcesz ręcznie kierować każdego pliku. Nadaje się również do potoków przetwarzania, które potrzebują kompaktowego, dedykowanego kroku zamiany mowy na tekst, a nie dużego modelu ogólnego wykonującego transkrypcję jako efekt uboczny szerszej podpowiedzi.

Wywołujesz go przez zgodne z OpenAI API api14, używając identyfikatora modelu "nvidia/parakeet-tdt-0.6b-v3". Skieruj istniejącego klienta OpenAI na bazowy adres URL api14, wyślij audio jako dane wejściowe i odczytaj transkrypcję z odpowiedzi. Ponieważ nie wymieniono żadnych parametrów żądania jako obsługiwanych dla tego modelu, utrzymuj żądanie minimalne i nie licz na to, że temperature, top_p, max_tokens lub podobne mechanizmy kontroli próbkowania będą miały jakikolwiek efekt. Traktuj go jako punkt końcowy transkrypcji, który przypadkowo ma ten sam kształt żądania co OpenAI.

Jednym praktycznym ograniczeniem, o którym warto pamiętać, jest to, że ten model wykonuje wyłącznie transkrypcję. Jeśli Twoje zadanie wymaga streszczenia transkrypcji, odpowiadania na pytania o nią, przetłumaczenia jej na inny język lub jakiegokolwiek innego generowania tekstu, będziesz potrzebować osobnego modelu tekstowego do tego kroku albo innego modelu, który obsługuje zarówno wejście audio, jak i wyjście generatywne. Podobnie, jeśli potrzebujesz konfigurowalnego zachowania dekodowania lub szczegółowej kontroli nad wyjściem, sprawdź aktualną listę parametrów przed budowaniem rozwiązania wokół tego, ponieważ żadne nie są tu wymienione. Do zwykłej zamiany mowy na tekst z wykrywaniem języka jest to bezpośrednio dopasowany wybór.