IBM: Granite 4.0 Micro

IBM Granite 4.0 Micro, listad på api14 som ibm-granite/granite-4.0-h-micro, är en textmodell från IBMs Granite 4-familj. Det är en modell med 3B parametrar, och IBM beskriver Granite 4-familjen som den senaste i en serie modeller som företaget har släppt. Den här specifika varianten är H-Micro-medlemmen i den familjen, och IBM uppger att familjen är finjusterad för långa uppgifter, vilket gör Micro-storleken till en tillgänglig ingång till Granite 4-serien för team som vill ha IBMs nyare generation utan att gå över till en större modell.

Modellen arbetar med textinmatning och producerar endast textutdata. Den tar inte emot bilder eller ljud, och den genererar inget annat än text. Dess kontextfönster är 131 000 tokens, och maximal utdata är 117 900 tokens. Den kombinationen av en stor kontext och en mycket stor utdatagräns innebär att du kan skicka långa dokument i en enda begäran och fortfarande lämna betydande utrymme för modellens svar, vilket är ovanligt för en modell av den här storleken.

De praktiska användningsområdena följer av dessa siffror. Sammanfattning av långa rapporter, avtal eller transkriptioner ryms bekvämt inom kontextfönstret. Extrahering och strukturerad generering passar också naturligt, eftersom modellen stöder response_format och ett högt utdatatak låter den skicka ut stora JSON-objekt eller dokument med flera avsnitt i ett enda anrop. Eftersom utdatagränsen är generös i förhållande till indatafönstret är uppgifter där svaret i sig är långt, till exempel omskrivning, utökning eller utformning av långa stycken från källmaterial, genomförbara. Allmän chatt, klassificering, taggning och lätta agenter över textdata är också rimliga utgångspunkter.

Du anropar den via api14s OpenAI-kompatibla API med modell-id:t ibm-granite/granite-4.0-h-micro, så befintliga OpenAI-SDK:er och klienter fungerar med bara en ändring av bas-URL och nyckel. De begärandeparametrar som stöds är frequency_penalty, logit_bias, logprobs, max_tokens, min_p, presence_penalty, repetition_penalty, response_format, seed, stop, temperature, top_k, top_logprobs och top_p. Den uppsättningen täcker samplingskontroll (temperature, top_p, top_k, min_p), repeteringshantering (frequency_penalty, presence_penalty, repetition_penalty), deterministiska återförsök via seed, strukturerad utdata via response_format och inspektion på tokennivå genom logprobs och top_logprobs.

Det finns ingen angiven begränsning utöver in- och utdata för enbart text, och det är värt att notera att det är en modell med 3B parametrar, så om du behöver vision, ljud eller en mycket större modell kan ett annat alternativ på api14 passa bättre. I annat fall, för textarbete med lång kontext och ett högt utdatatak, är det värt att testa direkt.