Nace.AI: Drex v2.0

Nace.AI : Drex v2.0 est un modèle de décision de Nace.AI, et le successeur plus grand de Drex v1.5. Il est conçu comme un modèle mixture-of-experts de 35B avec 3B de paramètres actifs, et il se situe dans la catégorie des décisions plutôt que dans la catégorie du chat général. Si vous l'évaluez, le cadrage important est qu'il ne s'agit pas d'un générateur de texte au sens habituel : il est conçu pour prendre une situation décrite et renvoyer des réponses à des questions spécifiques à son sujet.

Le modèle accepte une entrée texte, y compris du JSON, et produit des décisions en sortie. Le fournisseur décrit le schéma prévu comme consistant à donner au modèle un état (texte ou JSON) plus des questions typées telles que oui/non ou à choix multiple, et à recevoir les réponses correspondantes. La fenêtre de contexte est de 131072 tokens, et la sortie maximale est de 117964 tokens. Comme la modalité de sortie est constituée de décisions plutôt que de prose libre, vous devez vous attendre à des réponses structurées aux questions que vous posez, et non à un essai ou à une réponse de chat.

Cette forme indique un ensemble d'usages assez spécifique. Partout où vous avez un état que vous pouvez sérialiser en texte ou en JSON et un ensemble de questions discrètes à son sujet, Drex v2.0 est un candidat : décisions de triage et de routage, classification dans un ensemble fixe d'options, contrôles de validation oui/non, ou sélection à choix multiple sur un espace de réponses défini. La grande fenêtre de contexte signifie que l'état que vous transmettez peut être long, de sorte que les questions peuvent être fondées sur un volume substantiel d'entrée plutôt que sur un court extrait. Il est moins évidemment adapté aux tâches où vous voulez de la prose générée, un résumé ou une conversation ouverte, puisque ce n'est pas ce que couvre sa modalité de sortie.

Vous l'appelez via l'API compatible OpenAI d'api14 en utilisant l'id de modèle "nace-ai/drex-v2.0". Comme l'API est compatible OpenAI, vous pouvez pointer un client OpenAI existant vers api14 et envoyer des requêtes sous la forme habituelle des complétions de chat, avec le champ model défini sur cet id. Notez que le modèle ne liste aucun paramètre pris en charge, donc vous ne devez pas supposer que des réglages tels que temperature ou top_p sont acceptés ; envoyez l'état d'entrée et vos questions typées et reposez-vous sur les valeurs par défaut. Le tableau des prix en direct sur cette page couvre ce que coûte une requête.

Concernant les limites, les faits ici sont étroits. Le modèle prend du texte en entrée et produit des décisions en sortie, donc si votre tâche nécessite une entrée image ou audio, ou nécessite du texte généré en sortie, un autre modèle conviendra mieux. De même, comme aucun paramètre pris en charge n'est listé, si votre pipeline dépend de l'ajustement du comportement d'échantillonnage, vérifiez-le avant de vous engager. Dans ces limites, Drex v2.0 vise directement les tâches de décision structurées sur de longs états texte ou JSON.