ElevenLabs: Scribe v2

ElevenLabs: Scribe v2는 오디오와 음성 분야로 잘 알려진 제공업체 ElevenLabs의 음성-텍스트 변환 모델입니다. 전사(transcription) 카테고리에 속하므로, 대화형 응답을 생성하는 것이 아니라 음성 오디오를 텍스트로 변환하는 역할을 합니다. 파이프라인에 전용 전사 단계가 필요하다면, 이 모델은 범용 채팅 모델이 아니라 그 자체로 평가해야 하는 종류의 모델입니다.

이 모델은 입력으로 오디오를 받고 출력으로 전사를 반환합니다. 제공업체에 따르면 90개 이상의 언어에서 음성-텍스트 변환을 처리합니다. 단어 수준 타임스탬프를 생성하므로, 전사본의 각 단어를 오디오의 특정 지점에 정렬할 수 있습니다. 화자 분리(speaker diarization)를 옵션으로 사용할 수 있어, 여러 화자가 있는 녹음에서 누가 무엇을 말했는지 구분할 수 있습니다. 오디오 이벤트 태깅도 지원되므로, 오디오의 비음성 소리를 출력에 표시할 수 있습니다. 이 모델에는 컨텍스트 길이가 명시되어 있지 않으므로, 긴 텍스트 프롬프트를 입력하는 대상이 아니라 전사 엔드포인트로 취급해야 합니다.

이러한 기능들은 상당히 특정한 사용 사례 집합을 가리킵니다. 단어 수준 타임스탬프는 오디오와 동기화되는 자막이나 캡션이 필요할 때, 또는 특정 문구가 말해진 정확한 순간으로 이동하고 싶을 때 유용합니다. 화자 분리는 각 발언을 참가자에게 귀속시켜야 하는 회의 녹음, 인터뷰, 통화 녹음에 적합합니다. 오디오 이벤트 태깅은 전사본이 음성 이상의 내용을 기록해야 할 때, 예를 들어 녹음 중 발생한 소리를 표시할 때 도움이 됩니다. 90개 이상의 언어 지원은 다국어 아카이브나 여러 지역의 사용자에게 서비스를 제공하는 제품의 후보로 만듭니다.

모델 id "elevenlabs/scribe-v2"를 사용해 api14의 OpenAI 호환 API를 통해 이 모델을 호출합니다. 인터페이스가 OpenAI 형식을 따르므로, 기존 OpenAI 클라이언트를 api14로 지정하고 해당 id로 오디오 요청을 보낼 수 있습니다. 이 모델은 지원되는 요청 파라미터를 나열하지 않으므로, 엔드포인트 자체가 허용하는 것 외에 여기에 문서화된 추가 튜닝 옵션은 없습니다. 세부 정보에는 최대 출력이 0으로 나열되어 있으므로, 이를 선택하기 전에 예상 전사 길이와 비교해 확인할 가치가 있습니다.

빈 파라미터 목록과 명시된 컨텍스트 길이의 부재를 고려할 때, 이 모델은 구성 가능한 텍스트 모델이라기보다 집중된 전사 서비스로 취급하는 것이 가장 좋습니다. 텍스트 프롬프트를 받아 텍스트를 생성하는 모델이 필요하거나, 샘플링 및 유사 설정을 조정할 수 있는 모델이 필요하다면 api14의 다른 모델이 더 적합할 것입니다. 오디오 입력, 전사 출력에는 Scribe v2가 직접적인 선택입니다.