IBM: Granite 4.0 Micro

IBM Granite 4.0 Micro는 api14에 ibm-granite/granite-4.0-h-micro로 등록되어 있으며, IBM의 Granite 4 제품군에 속하는 텍스트 모델입니다. 3B 파라미터 모델이며, IBM은 Granite 4 제품군을 자사가 출시한 일련의 모델 중 최신이라고 설명합니다. 이 특정 변형은 해당 제품군의 H-Micro 구성원이며, IBM은 이 제품군이 긴 작업에 맞게 파인튜닝되었다고 밝히고 있습니다. 따라서 Micro 크기는 더 큰 모델로 넘어가지 않고 IBM의 최신 세대를 원하는 팀에게 Granite 4 라인으로 들어가는 접근하기 쉬운 진입점이 됩니다.

이 모델은 텍스트 입력으로 작동하고 텍스트 출력만 생성합니다. 이미지나 오디오를 받지 않으며, 텍스트 외에는 아무것도 생성하지 않습니다. 컨텍스트 윈도우는 131,000 토큰이고 최대 출력은 117,900 토큰입니다. 큰 컨텍스트와 매우 큰 출력 허용량의 조합은 단일 요청으로 긴 문서를 보내고도 모델의 응답을 위한 상당한 여유를 남길 수 있다는 뜻이며, 이는 이 크기의 모델에서는 드문 일입니다.

실용적인 용도는 이 수치에서 따라옵니다. 긴 보고서, 계약서 또는 녹취록을 요약하는 작업은 컨텍스트 윈도우 안에 여유 있게 들어갑니다. 추출과 구조화된 생성도 자연스럽게 맞습니다. 모델이 response_format을 지원하고 긴 출력 상한 덕분에 한 번의 호출로 큰 JSON 객체나 여러 섹션이 있는 문서를 내보낼 수 있기 때문입니다. 출력 제한이 입력 윈도우에 비해 넉넉하기 때문에 답변 자체가 긴 작업, 예를 들어 원본 자료에서 긴 구절을 다시 쓰기, 확장 또는 초안 작성하는 작업도 실행 가능합니다. 일반 채팅, 분류, 태깅, 텍스트 데이터에 대한 가벼운 에이전트도 합리적인 시작점입니다.

api14의 OpenAI 호환 API를 통해 모델 id ibm-granite/granite-4.0-h-micro로 호출하므로, 기존 OpenAI SDK와 클라이언트는 base URL과 키만 바꾸면 작동합니다. 지원되는 요청 파라미터는 frequency_penalty, logit_bias, logprobs, max_tokens, min_p, presence_penalty, repetition_penalty, response_format, seed, stop, temperature, top_k, top_logprobs, top_p입니다. 이 집합은 샘플링 제어(temperature, top_p, top_k, min_p), 반복 처리(frequency_penalty, presence_penalty, repetition_penalty), seed를 통한 결정적 재시도, response_format을 통한 구조화된 출력, logprobs와 top_logprobs를 통한 토큰 수준 검사를 포괄합니다.

텍스트 전용 입력과 출력 외에 명시된 제한은 없으며, 3B 파라미터 모델이라는 점을 알아둘 가치가 있습니다. 따라서 비전, 오디오 또는 훨씬 큰 모델이 필요하다면 api14의 다른 옵션이 더 적합할 수 있습니다. 그렇지 않고 출력 상한이 높은 긴 컨텍스트 텍스트 작업이라면 직접 테스트해 볼 가치가 있습니다.