ElevenLabs: Scribe v2

ElevenLabs: Scribe v2 é um modelo de conversão de fala em texto da ElevenLabs, um fornecedor conhecido pelo seu trabalho em áudio e voz. Enquadra-se na categoria de transcrição, pelo que a sua função é converter áudio falado em texto escrito, em vez de gerar respostas conversacionais. Se o seu pipeline precisa de um passo de transcrição dedicado, este é o tipo de modelo que avaliaria por si só, e não como um modelo de chat de propósito geral.

O modelo aceita áudio como entrada e devolve uma transcrição como saída. Segundo o fornecedor, lida com conversão de fala em texto em mais de 90 idiomas. Produz carimbos de tempo ao nível da palavra, que lhe permitem alinhar cada palavra da transcrição com um ponto no áudio. A diarização de falantes está disponível como opção, para que possa distinguir quem disse o quê numa gravação com vários falantes. A marcação de eventos de áudio também é suportada, o que significa que sons não falados no áudio podem ser assinalados na saída. Não está indicado nenhum comprimento de contexto para este modelo, por isso trate-o como um endpoint de transcrição, e não como algo em que introduz prompts de texto longos.

Essas capacidades apontam para um conjunto bastante específico de casos de uso. Os carimbos de tempo ao nível da palavra são úteis quando precisa de subtítulos ou legendas que se mantenham sincronizados com o áudio, ou quando quer saltar para o momento exato em que uma frase foi dita. A diarização de falantes encaixa em gravações de reuniões, entrevistas e gravações de chamadas em que precisa de atribuir cada linha a um participante. A marcação de eventos de áudio ajuda quando a transcrição deve assinalar mais do que fala, por exemplo marcar um som que ocorre durante a gravação. A cobertura de mais de 90 idiomas torna-o um candidato para arquivos multilingues ou produtos que servem utilizadores em várias regiões.

Chama o modelo através da API compatível com OpenAI da api14 usando o id de modelo "elevenlabs/scribe-v2". Como a interface segue o formato OpenAI, pode apontar um cliente OpenAI existente para a api14 e enviar o seu pedido de áudio com esse id. O modelo não lista parâmetros de pedido suportados, por isso não há opções extra de afinação documentadas aqui além do que o próprio endpoint aceita. Os detalhes também indicam uma saída máxima de 0, o que vale a pena verificar em relação aos comprimentos de transcrição que espera antes de assumir o compromisso.

Dada a lista de parâmetros vazia e a ausência de um comprimento de contexto declarado, este modelo é melhor tratado como um serviço de transcrição focado, e não como um modelo de texto configurável. Se precisa de um modelo que receba prompts de texto e gere texto, ou de um em que possa ajustar a amostragem e definições semelhantes, um modelo diferente na api14 encaixará melhor. Para áudio como entrada e transcrição como saída, o Scribe v2 é a opção direta.