Writer: Palmyra X5

Auteur : Palmyra X5 est un modèle de texte de Writer, listé sur api14 sous l'identifiant de modèle writer/palmyra-x5. Writer le décrit comme son modèle le plus avancé, conçu spécialement pour créer et faire évoluer des agents IA à l'échelle de l'entreprise. Il appartient à la catégorie texte, il est donc destiné au travail linguistique plutôt qu'à l'image, l'audio ou d'autres modalités.

Le modèle prend du texte en entrée et renvoie du texte en sortie. Sa fenêtre de contexte est de 1 040 000 tokens, soit un peu plus d'un million de tokens, et la sortie maximale est de 8 192 tokens. La description de Writer met en avant une vitesse et une efficacité de premier ordre sur des fenêtres de contexte allant jusqu'à 1 million de tokens, la grande fenêtre fait donc délibérément partie de la conception plutôt que d'être un chiffre accessoire. Il n'y a ici aucune entrée vision ou audio ; tout ce que vous envoyez doit être du texte.

Cette combinaison d'une très grande fenêtre de contexte et d'un plafond de sortie modeste façonne les cas d'usage pratiques. Des documents longs, de grandes bases de code, des transcriptions étendues et des ensembles multi-documents peuvent être fournis en une seule requête sans découpage, ce qui convient aux flux de travail d'agents fortement orientés vers la récupération, au résumé de sources longues, aux questions-réponses fondées sur une documentation de référence volumineuse, et aux tâches d'extraction où la réponse est courte mais les preuves sont réparties sur de nombreuses pages. Comme la sortie est plafonnée à 8 192 tokens, il convient surtout lorsque vous avez besoin d'une réponse ciblée plutôt que d'un long document généré.

Vous l'appelez via l'API compatible OpenAI d'api14 en utilisant l'identifiant de modèle writer/palmyra-x5, les bibliothèques clientes OpenAI existantes et les formats de requête fonctionnent donc sans traitement particulier. Les paramètres de requête pris en charge sont max_tokens, stop, temperature, top_k et top_p. Utilisez max_tokens pour borner la réponse dans le plafond de sortie de 8 192, stop pour définir où la génération doit s'arrêter, et temperature, top_k et top_p pour contrôler l'échantillonnage. Aucun autre paramètre n'est indiqué comme pris en charge, limitez donc les requêtes à cet ensemble.

La principale contrainte à anticiper est la limite de sortie de 8 192 tokens. Si votre tâche consiste à produire un long rapport, un fichier complet ou un texte étendu en une seule passe, ce modèle tronquera avant que vous ayez terminé, et un modèle avec une allocation de sortie plus grande conviendra peut-être mieux. Palmyra X5 est à son meilleur lorsque l'entrée est volumineuse et la réponse requise relativement courte.