NVIDIA: Parakeet TDT 0.6B v3

NVIDIA: Parakeet TDT 0.6B v3는 NVIDIA의 음성-텍스트 변환 모델입니다. FastConformer-TDT 아키텍처를 기반으로 구축된 6억 개 파라미터 모델이며, 67만 시간 이상의 오디오를 포함하는 Granary 데이터셋으로 학습되었습니다. 이 모델은 다국어 전사 시스템으로 포지셔닝되어 있으며, 지원하는 언어 전반에 걸쳐 자동 언어 감지를 지원합니다. 이미 NVIDIA 생태계에서 작업 중이거나, 간결하고 목적에 집중된 전사 모델이 필요하다면, 이는 일반적인 추론 능력보다는 아키텍처와 학습 데이터의 강점을 기준으로 평가하게 되는 종류의 모델입니다.

이 모델은 단일 목적입니다. 유일한 입력 양식은 오디오이고, 유일한 출력 양식은 전사입니다. 일반적인 채팅 의미의 텍스트 프롬프트를 받지 않으며, 대화형 응답을 생성하지 않습니다. 범용 언어 모델이 아니라 전용 전사 모델이기 때문에, 토큰으로 측정되는 컨텍스트 윈도우나 채팅 모델이 보고하는 방식의 최대 출력 길이가 없습니다. 관련된 제한은 프롬프트 크기가 아니라 오디오 길이와 형식에 관한 것입니다. api14에는 이 모델에 대해 나열된 지원 요청 파라미터가 없으므로, 튜닝 옵션 없이 단순한 전사 요청을 보낸다고 생각해야 합니다.

사용 사례는 그 설계에서 직접 따라옵니다. 회의 녹음, 인터뷰, 음성 메모, 통화 녹음 등 녹음된 오디오의 배치 또는 온디맨드 전사에 적합합니다. 여러 언어에 걸쳐 자동 언어 감지를 수행하므로, 오디오의 언어를 미리 알지 못하고 각 파일을 수동으로 라우팅하고 싶지 않을 때 합리적인 선택이 될 수 있습니다. 또한 더 넓은 프롬프트의 부산물로 전사를 수행하는 대형 범용 모델이 아니라, 간결하고 전용인 음성-텍스트 변환 단계가 필요한 파이프라인에도 적합합니다.

api14의 OpenAI 호환 API를 통해 모델 id "nvidia/parakeet-tdt-0.6b-v3"를 사용하여 호출합니다. 기존 OpenAI 클라이언트를 api14 base URL로 지정하고, 오디오를 입력으로 보낸 뒤, 응답에서 전사를 읽습니다. 이 모델에 대해 지원되는 것으로 나열된 요청 파라미터가 없으므로, 요청을 최소한으로 유지하고 temperature, top_p, max_tokens 또는 이와 유사한 샘플링 제어가 효과가 있다고 기대하지 마십시오. OpenAI 요청 형태를 공유하는 전사 엔드포인트로 취급하십시오.

명심해야 할 실용적인 한계 하나는 이 모델이 전사만 수행한다는 점입니다. 작업에 전사문 요약, 전사문에 대한 질문 응답, 다른 언어로의 번역 또는 기타 텍스트 생성이 필요하다면, 해당 단계를 위한 별도의 텍스트 모델이나 오디오 입력과 생성 출력을 모두 처리하는 다른 모델이 필요합니다. 마찬가지로, 구성 가능한 디코딩 동작이나 출력에 대한 세밀한 제어가 필요하다면, 여기에는 나열된 것이 없으므로 이를 기반으로 구축하기 전에 실시간 파라미터 목록을 확인하십시오. 언어 감지를 포함한 단순한 음성-텍스트 변환에는 직접적으로 적합합니다.