AssemblyAI: Universal-3.5 Pro

AssemblyAI: Universal-3.5 Pro é um modelo de fala para texto da AssemblyAI, servido através da Sync API do fornecedor. Situa-se na categoria de transcrição, pelo que o seu trabalho é estreito e específico: transformar áudio em texto em vez de lidar com tarefas de conversação, raciocínio ou geração. Se está a construir algo que precisa de uma transcrição, este é o tipo de modelo que avaliaria a par de outras opções de transcrição.

O modelo recebe áudio como única entrada e devolve uma transcrição como saída. Produz uma transcrição completa com carimbos temporais ao nível da palavra numa única resposta síncrona, o que significa que obtém a informação de temporização de cada palavra sem um passo de alinhamento separado. O percurso da Sync API foi concebido para clipes de áudio até 120 segundos, pelo que o modelo funciona em gravações curtas e não em ficheiros longos. Não está listada nenhuma janela de contexto para este modelo, e a saída máxima está registada como zero, o que reflete que não é um modelo de geração de texto com um orçamento de tokens no sentido habitual.

Os usos práticos decorrem diretamente dessas características. Os carimbos temporais ao nível da palavra tornam-no adequado para a geração de subtítulos e legendas, onde cada palavra precisa de um deslocamento temporal. Os clipes curtos são comuns em notas de voz, excertos de chamadas de apoio, entrevistas curtas e transcrição de memorandos de voz, pelo que uma chamada síncrona que devolve a transcrição completa numa só resposta se adequa a ferramentas interativas que não podem esperar por uma tarefa em lote. Como a resposta é síncrona, pode ligá-la a um fluxo de pedido e resposta, por exemplo, um utilizador carrega um clipe e recebe a transcrição e as temporizações de volta na mesma interação.

Chama-o através da API compatível com OpenAI da api14 usando o id de modelo "assemblyai/universal-3-5-pro". O pedido transporta a entrada de áudio, e a resposta devolve a transcrição com carimbos temporais ao nível da palavra. O modelo não lista parâmetros suportados, pelo que não deve esperar passar controlos de amostragem, temperature, top_p ou definições de geração semelhantes; o comportamento de transcrição é fixado pelo fornecedor. Trate-o como um endpoint de transcrição e não como um endpoint de conclusão de conversação, e consulte a tabela de preços em direto na página para as tarifas atuais.

O principal limite a ter em conta é o comprimento do clipe. A Sync API serve áudio até 120 segundos, pelo que gravações mais longas ficam fora do que este modelo está preparado para lidar numa única chamada síncrona, e precisaria de uma abordagem diferente ou de um modelo diferente para essas. Se a sua tarefa é geração de texto, conversação ou qualquer coisa além de fala para texto, este modelo não é o adequado, uma vez que a sua entrada é áudio e a sua saída é uma transcrição.