Fish Audio: Transcribe 1

Fish Audio: Transcribe 1은 Fish Audio의 음성-텍스트 변환 모델로, api14의 transcription 카테고리에 등록되어 있습니다. 이는 텍스트 생성이나 멀티모달 생성 작업과는 구별되는 제공자의 전용 전사(transcription) 제품이며, 녹음된 음성을 서면 텍스트로 바꾸는 순수한 목적만을 위해 존재합니다. 애플리케이션에서 오디오를 사용 가능한 전사문으로 변환해야 하고 이미 다른 요청들을 OpenAI 호환 게이트웨이를 통해 라우팅하고 있다면, 이 모델이 해당 작업에 대해 평가해 볼 모델입니다.

이 모델은 오디오를 유일한 입력 모달리티로 받아들이고 전사문을 출력으로 반환합니다. 자동 언어 감지를 수행하므로, 클립을 처리하기 전에 어떤 언어가 말해지고 있는지 미리 알려줄 필요가 없습니다. 정렬 세부 정보(alignment details)를 요청하면, 구분되지 않은 하나의 텍스트 덩어리가 아니라 타임스탬프가 붙은 단어 수준 세그먼트를 반환할 수 있습니다. 이 단어 수준 타이밍은 단순한 읽기 이후의 모든 다운스트림 작업에서 가장 중요한 기능입니다. 각 단어를 오디오의 특정 지점에 다시 매핑할 수 있게 해주기 때문입니다. 모델 메타데이터에는 토큰 단위의 컨텍스트 길이가 공개되어 있지 않으므로, 토큰 예산이 아니라 오디오 자체를 요청 크기를 정하는 기준으로 삼아야 합니다.

출력에 단어 수준 타임스탬프가 포함될 수 있기 때문에 여러 실용적인 사용 사례가 곧바로 따라옵니다. 자막 및 캡션 생성은 세그먼트 타이밍의 이점을 누립니다. 캡션 트랙은 각 구절이 언제 나타나는지 알아야 하기 때문입니다. 전사문 편집기와 필기 도구는 오디오가 재생될 때 해당 부분을 강조 표시하거나, 사용자가 단어를 클릭하면 그 순간으로 이동하게 할 수 있습니다. 녹음된 회의, 인터뷰, 강의 또는 지원 통화에 대한 검색과 인덱싱은 음성이 텍스트가 되면 가능해지며, 단어 정렬은 그러한 검색 결과의 정밀도를 향상시킵니다. 언어 감지는 혼합 언어 또는 알 수 없는 언어의 오디오를 받았을 때 별도의 분류 단계 없이 전사문을 얻고자 할 때도 도움이 됩니다.

이 모델은 모델 id "fish-audio/transcribe-1"을 사용하여 api14의 OpenAI 호환 API를 통해 호출합니다. 인터페이스가 OpenAI 관례를 따르므로, 이미 OpenAI 호환 base URL을 가리키고 있는 기존 클라이언트와 SDK는 별도의 맞춤 통합 없이 요청을 보낼 수 있습니다. 이 모델은 지원되는 요청 파라미터를 나열하지 않으므로, 오디오 전사 호출에 대한 표준 요청 형태를 계획하고 오디오 입력에 적용되는 필드에 대해서는 요청 스키마를 확인하십시오. 정렬 출력이 필요할 때는 정렬 세부 정보를 요청하여 응답에 일반 텍스트 대신 타임스탬프가 붙은 단어 수준 세그먼트가 포함되도록 하십시오. 메타데이터에는 또한 max output 값이 0으로 기록되어 있는데, 이는 출력 상한에 대해 공개된 메타데이터에 의존해서는 안 되며 자체 워크로드에 비추어 응답 크기를 검증해야 한다는 뜻입니다.

적합성에 관해: 이 모델은 전사 전용으로 범위가 정해져 있습니다. 텍스트를 생성하거나, 오디오에 관한 질문에 답하거나, 번역하거나, 요약하거나, 전사문 이외의 어떤 출력도 생성하지 않습니다. 따라서 "이 회의를 요약해 줘" 같은 작업에는 전사문을 입력으로 받는 별도의 텍스트 모델이 필요합니다. 공개된 지원 파라미터와 토큰 컨텍스트 길이가 없다는 것은 여기서 샘플링이나 추론 동작을 조정할 수 없다는 뜻이며, 매우 긴 녹음은 한 번에 작동한다고 가정하지 말고 자체 파이프라인에서 테스트해야 합니다. 요구 사항이 음성 입력, 정확한 타임스탬프 텍스트 출력, 자동 언어 감지라면, 이 모델은 바로 그 목적을 겨냥하고 있습니다.