IBM: Granite 4.0 Micro

IBM Granite 4.0 Micro, répertorié sur api14 sous le nom ibm-granite/granite-4.0-h-micro, est un modèle de texte de la famille Granite 4 d'IBM. C'est un modèle de 3 milliards de paramètres, et IBM décrit la famille Granite 4 comme la plus récente d'une série de modèles que l'entreprise a publiés. Cette variante particulière est le membre H-Micro de cette famille, et IBM indique que la famille est affinée pour les tâches longues, ce qui fait de la taille Micro un point d'entrée accessible dans la gamme Granite 4 pour les équipes qui veulent la nouvelle génération d'IBM sans passer à un modèle plus grand.

Le modèle fonctionne avec une entrée texte et produit uniquement une sortie texte ; il n'accepte ni images ni audio, et il ne génère rien d'autre que du texte. Sa fenêtre de contexte est de 131 000 tokens, et la sortie maximale est de 117 900 tokens. Cette combinaison d'un grand contexte et d'une allocation de sortie très importante signifie que vous pouvez envoyer de longs documents en une seule requête tout en laissant une marge substantielle pour la réponse du modèle, ce qui est inhabituel pour un modèle de cette taille.

Les usages pratiques découlent de ces chiffres. Le résumé de longs rapports, contrats ou transcriptions tient confortablement dans la fenêtre de contexte. L'extraction et la génération structurée conviennent également naturellement, puisque le modèle prend en charge response_format et qu'un plafond de sortie élevé lui permet d'émettre de grands objets JSON ou des documents à plusieurs sections en un seul appel. Comme la limite de sortie est généreuse par rapport à la fenêtre d'entrée, les tâches où la réponse est elle-même longue, comme la réécriture, l'expansion ou la rédaction de longs passages à partir de documents sources, sont viables. Le chat général, la classification, l'étiquetage et les agents légers sur des données textuelles sont aussi des points de départ raisonnables.

Vous l'appelez via l'API compatible OpenAI d'api14 en utilisant l'identifiant de modèle ibm-granite/granite-4.0-h-micro, donc les SDK et clients OpenAI existants fonctionnent avec seulement un changement d'URL de base et de clé. Les paramètres de requête pris en charge sont frequency_penalty, logit_bias, logprobs, max_tokens, min_p, presence_penalty, repetition_penalty, response_format, seed, stop, temperature, top_k, top_logprobs et top_p. Cet ensemble couvre le contrôle d'échantillonnage (temperature, top_p, top_k, min_p), la gestion de la répétition (frequency_penalty, presence_penalty, repetition_penalty), les nouvelles tentatives déterministes via seed, la sortie structurée via response_format, et l'inspection au niveau des tokens via logprobs et top_logprobs.

Il n'y a pas de limitation déclarée au-delà de l'entrée et de la sortie texte uniquement, et il convient de noter qu'il s'agit d'un modèle de 3 milliards de paramètres, donc si vous avez besoin de vision, d'audio ou d'un modèle beaucoup plus grand, une autre option sur api14 pourrait mieux convenir. Sinon, pour le travail textuel à long contexte avec un plafond de sortie élevé, cela vaut la peine de le tester directement.