IBM: Granite 4.0 Micro

O IBM Granite 4.0 Micro, listado na api14 como ibm-granite/granite-4.0-h-micro, é um modelo de texto da família Granite 4 da IBM. É um modelo de 3B parâmetros, e a IBM descreve a família Granite 4 como a mais recente de uma série de modelos que a empresa lançou. Esta variante específica é o membro H-Micro dessa família, e a IBM afirma que a família é ajustada para tarefas longas, o que torna o tamanho Micro um ponto de entrada acessível na linha Granite 4 para equipas que querem a geração mais recente da IBM sem passar para um modelo maior.

O modelo funciona com entrada de texto e produz apenas saída de texto; não aceita imagens nem áudio, e não gera nada além de texto. A sua janela de contexto é de 131.000 tokens, e a saída máxima é de 117.900 tokens. Essa combinação de um contexto grande e uma permissão de saída muito grande significa que pode enviar documentos longos num único pedido e ainda deixar espaço substancial para a resposta do modelo, o que é invulgar para um modelo deste tamanho.

Os usos práticos decorrem desses números. Resumir relatórios longos, contratos ou transcrições cabe confortavelmente dentro da janela de contexto. A extração e a geração estruturada também são uma combinação natural, uma vez que o modelo suporta response_format e um teto de saída longo permite-lhe emitir objetos JSON grandes ou documentos com várias secções numa só chamada. Como o limite de saída é generoso em relação à janela de entrada, tarefas em que a resposta é ela própria extensa, como reescrever, expandir ou redigir passagens longas a partir de material de origem, são viáveis. Chat geral, classificação, etiquetagem e agentes leves sobre dados de texto também são pontos de partida razoáveis.

Pode chamá-lo através da API compatível com OpenAI da api14 usando o id de modelo ibm-granite/granite-4.0-h-micro, pelo que os SDKs e clientes OpenAI existentes funcionam apenas com uma alteração de URL base e chave. Os parâmetros de pedido suportados são frequency_penalty, logit_bias, logprobs, max_tokens, min_p, presence_penalty, repetition_penalty, response_format, seed, stop, temperature, top_k, top_logprobs e top_p. Esse conjunto cobre o controlo de amostragem (temperature, top_p, top_k, min_p), o tratamento de repetição (frequency_penalty, presence_penalty, repetition_penalty), tentativas determinísticas via seed, saída estruturada via response_format, e inspeção ao nível do token através de logprobs e top_logprobs.

Não há limitação declarada além da entrada e saída apenas de texto, e vale a pena notar que é um modelo de 3B parâmetros, por isso, se precisar de visão, áudio ou de um modelo muito maior, uma opção diferente na api14 pode ser mais adequada. Caso contrário, para trabalho de texto com contexto longo e um teto de saída elevado, vale a pena testá-lo diretamente.