Nace.AI: Drex v2.0

Nace.AI: Drex v2.0 é um modelo de decisão da Nace.AI, e o sucessor maior do Drex v1.5. É construído como um modelo de mistura de especialistas de 35B com 3B parâmetros ativos, e situa-se na categoria de decisões em vez da categoria de chat geral. Se o estiver a avaliar, o enquadramento importante é que não é um gerador de texto no sentido habitual: é concebido para receber uma situação descrita e devolver respostas a perguntas específicas sobre ela.

O modelo aceita entrada de texto, incluindo JSON, e produz decisões como saída. O fornecedor descreve o padrão pretendido como dar ao modelo um estado (texto ou JSON) mais perguntas tipadas, como sim/não ou escolha múltipla, e receber as respostas correspondentes. A janela de contexto é de 131072 tokens, e a saída máxima é de 117964 tokens. Como a modalidade de saída são decisões e não prosa livre, deve esperar respostas estruturadas às perguntas que coloca, não um ensaio ou uma resposta de chat.

Essa forma aponta para um conjunto bastante específico de utilizações. Em qualquer situação em que tenha um estado que possa serializar como texto ou JSON e um conjunto de perguntas discretas sobre ele, o Drex v2.0 é um candidato: decisões de triagem e encaminhamento, classificação num conjunto fixo de opções, verificações de autorização sim/não, ou seleção de escolha múltipla sobre um espaço de respostas definido. A grande janela de contexto significa que o estado que introduz pode ser longo, pelo que as perguntas podem ser fundamentadas num volume substancial de entrada em vez de um excerto curto. É menos obviamente adequado a tarefas em que pretende prosa gerada, resumo ou conversa aberta, uma vez que não é isso que a sua modalidade de saída abrange.

Chama-o através da API compatível com OpenAI da api14 usando o id de modelo "nace-ai/drex-v2.0". Como a API é compatível com OpenAI, pode apontar um cliente OpenAI existente para a api14 e enviar pedidos na forma habitual de chat completions, com o campo model definido para esse id. Note que o modelo não lista parâmetros suportados, pelo que não deve assumir que controlos de afinação como temperature ou top_p são aceites; envie o estado de entrada e as suas perguntas tipadas e confie nos valores predefinidos. A tabela de preços em tempo real nesta página cobre o custo de um pedido.

Quanto a limites, os factos aqui são restritos. O modelo é texto à entrada e decisões à saída, pelo que, se a sua tarefa precisa de entrada de imagem ou áudio, ou precisa de texto gerado como saída, outro modelo encaixará melhor. Da mesma forma, como não estão listados parâmetros suportados, se o seu pipeline depende de ajustar o comportamento de amostragem, verifique isso antes de assumir o compromisso. Dentro desses limites, o Drex v2.0 visa diretamente tarefas de decisão estruturada sobre estados longos de texto ou JSON.