IBM: Granite 4.0 Micro

IBM Granite 4.0 Micro, elencato su api14 come ibm-granite/granite-4.0-h-micro, è un modello testuale della famiglia Granite 4 di IBM. È un modello da 3 miliardi di parametri, e IBM descrive la famiglia Granite 4 come l'ultima di una serie di modelli rilasciati dall'azienda. Questa variante particolare è il membro H-Micro di quella famiglia, e IBM afferma che la famiglia è ottimizzata per attività lunghe, il che rende la dimensione Micro un punto di ingresso accessibile alla linea Granite 4 per i team che desiderano la nuova generazione di IBM senza passare a un modello più grande.

Il modello funziona con input testuale e produce solo output testuale; non accetta immagini o audio, e non genera nulla di diverso dal testo. La sua finestra di contesto è di 131.000 token, e l'output massimo è di 117.900 token. Questa combinazione di un contesto ampio e una concessione di output molto elevata significa che puoi inviare documenti lunghi in una singola richiesta e lasciare comunque ampio spazio per la risposta del modello, il che è insolito per un modello di queste dimensioni.

Gli usi pratici derivano da questi numeri. Riassumere report lunghi, contratti o trascrizioni rientra comodamente nella finestra di contesto. Anche l'estrazione e la generazione strutturata sono adatte, poiché il modello supporta response_format e un tetto di output elevato gli consente di emettere grandi oggetti JSON o documenti multi-sezione in una sola chiamata. Poiché il limite di output è generoso rispetto alla finestra di input, sono praticabili attività in cui la risposta è essa stessa lunga, come riscrittura, espansione o stesura di lunghi passaggi a partire da materiale sorgente. Anche chat generiche, classificazione, tagging e agenti leggeri su dati testuali sono punti di partenza ragionevoli.

Lo chiami tramite l'API compatibile con OpenAI di api14 usando l'id del modello ibm-granite/granite-4.0-h-micro, quindi gli SDK e i client OpenAI esistenti funzionano con il solo cambio di base URL e chiave. I parametri di richiesta supportati sono frequency_penalty, logit_bias, logprobs, max_tokens, min_p, presence_penalty, repetition_penalty, response_format, seed, stop, temperature, top_k, top_logprobs e top_p. Questo insieme copre il controllo del campionamento (temperature, top_p, top_k, min_p), la gestione delle ripetizioni (frequency_penalty, presence_penalty, repetition_penalty), i tentativi deterministici tramite seed, l'output strutturato tramite response_format e l'ispezione a livello di token tramite logprobs e top_logprobs.

Non c'è alcuna limitazione dichiarata oltre all'input e all'output solo testuali, e vale la pena notare che è un modello da 3 miliardi di parametri, quindi se hai bisogno di visione, audio o di un modello molto più grande, un'opzione diversa su api14 potrebbe essere più adatta. Altrimenti, per lavori testuali a contesto lungo con un tetto di output elevato, vale la pena testarlo direttamente.