TypeSafe: Jev 1.13

TypeSafe: Jev 1.13 é um modelo de decisão estruturado da TypeSafe, e o primeiro dos seus modelos System One. A TypeSafe posiciona os modelos System One como ferramentas que tomam decisões rápidas e estruturadas para software, devolvendo uma escolha tipada em vez de texto livre. O Jev 1.13 não é, portanto, um modelo de chat ou de escrita geral: a sua categoria principal é decisões, e decisões são a única categoria que cobre. Se está a construir software que precisa de um modelo para escolher entre opções definidas, esta é a classe de modelo para a qual a TypeSafe o concebeu.

O modelo aceita texto como entrada e produz decisões como saída. Tem uma janela de contexto de 64.000 tokens e um máximo de saída de 57.600 tokens. Como a saída é uma escolha tipada em vez de texto aberto, deve pensar no Jev 1.13 como um componente que encaixa num ponto de decisão do seu sistema, não como um modelo ao qual pede para redigir um ensaio ou manter uma conversa. O lado da entrada é apenas texto, por isso quaisquer imagens, áudio ou outras modalidades teriam de ser convertidos em texto antes de chegarem ao modelo.

Os casos de uso práticos decorrem diretamente dessa forma. O Jev 1.13 encaixa-se em lógica de encaminhamento e triagem, onde um pedido ou registo tem de ser atribuído a uma de um conjunto conhecido de categorias. Encaixa-se em passos de classificação e etiquetagem dentro de um pipeline, onde a saída alimenta a etapa seguinte do código em vez de um leitor humano. Encaixa-se em decisões de controlo e aprovação, onde o software precisa de uma escolha consistente entre resultados definidos. Encaixa-se também em qualquer fluxo de trabalho onde quer que a decisão chegue como um valor estruturado sobre o qual possa ramificar, em vez de analisar texto e esperar que o formato se mantenha.

Chama o modelo através da API compatível com OpenAI da api14 usando o id de modelo "typesafe/jev-1.13". Como a API é compatível com OpenAI, as bibliotecas cliente OpenAI existentes e a forma habitual de pedido de chat completion funcionam sem reescrita; basta alterar o id de modelo e apontar o seu cliente para a api14. Note que o modelo não lista parâmetros suportados, por isso deve enviar um pedido simples e não contar com opções de afinação como temperature ou top_p a serem respeitadas. O id de modelo é o único identificador de que precisa.

Um limite a ter em conta é o âmbito. O Jev 1.13 devolve decisões, por isso tarefas que precisam de texto gerado, sumarização, tradução ou conversa com vários turnos são um mau encaixe, e um modelo de geração de texto geral serviria melhor nesses casos. Do mesmo modo, se o seu problema de decisão precisar de entrada de imagem ou áudio, este modelo não a aceita. Dentro do seu domínio, escolhas estruturadas sobre entrada de texto, é a opção concebida para o efeito.