IBM: Granite 4.0 Micro

IBM Granite 4.0 Micro, vermeld op api14 als ibm-granite/granite-4.0-h-micro, is een tekstmodel uit IBM's Granite 4-familie. Het is een model met 3B parameters, en IBM beschrijft de Granite 4-familie als de nieuwste in een reeks modellen die het bedrijf heeft uitgebracht. Deze specifieke variant is het H-Micro-lid van die familie, en IBM stelt dat de familie is fine-tuned voor lange taken, wat de Micro-grootte een toegankelijk instappunt maakt in de Granite 4-lijn voor teams die IBM's nieuwere generatie willen zonder over te stappen op een groter model.

Het model werkt met tekstinvoer en produceert alleen tekstuitvoer; het accepteert geen afbeeldingen of audio, en het genereert niets anders dan tekst. Het contextvenster is 131.000 tokens, en de maximale uitvoer is 117.900 tokens. Die combinatie van een grote context en een zeer ruime uitvoerlimiet betekent dat je lange documenten in één verzoek kunt sturen en nog steeds substantiële ruimte overhoudt voor het antwoord van het model, wat ongebruikelijk is voor een model van deze grootte.

De praktische toepassingen volgen uit die cijfers. Het samenvatten van lange rapporten, contracten of transcripties past comfortabel binnen het contextvenster. Extractie en gestructureerde generatie passen ook natuurlijk, aangezien het model response_format ondersteunt en een hoog uitvoerplafond het in staat stelt grote JSON-objecten of documenten met meerdere secties in één aanroep uit te voeren. Omdat de uitvoerlimiet ruim is ten opzichte van het invoervenster, zijn taken waarbij het antwoord zelf lang is, zoals herschrijven, uitbreiden of het opstellen van lange passages op basis van bronmateriaal, haalbaar. Algemene chat, classificatie, tagging en lichtgewicht agents op tekstdata zijn ook redelijke startpunten.

Je roept het aan via api14's OpenAI-compatibele API met het model-id ibm-granite/granite-4.0-h-micro, dus bestaande OpenAI SDK's en clients werken met alleen een wijziging van base URL en key. De ondersteunde verzoekparameters zijn frequency_penalty, logit_bias, logprobs, max_tokens, min_p, presence_penalty, repetition_penalty, response_format, seed, stop, temperature, top_k, top_logprobs en top_p. Die set dekt sampling-controle (temperature, top_p, top_k, min_p), herhalingsbehandeling (frequency_penalty, presence_penalty, repetition_penalty), deterministische herpogingen via seed, gestructureerde uitvoer via response_format, en inspectie op tokenniveau via logprobs en top_logprobs.

Er is geen vermelde beperking naast tekstinvoer en tekstuitvoer, en het is vermeldenswaard dat het een model met 3B parameters is, dus als je vision, audio of een veel groter model nodig hebt, past een andere optie op api14 mogelijk beter. Anders is het voor lang-context tekstwerk met een hoog uitvoerplafond de moeite waard om het direct te testen.