Google: Gemma 3 12B

Gemma 3 12B는 Google의 텍스트 생성 모델로, Gemma 3 제품군의 일부로 2025년 3월 13일에 출시되었습니다. api14에서 google/gemma-3-12b-it로 식별되는 instruction-tuned 12B 변형입니다. Gemma 3는 Google이 Gemma 라인에 멀티모달리티를 도입한 것을 의미하므로, 이 모델은 텍스트와 이미지를 모두 입력으로 받아들이고 텍스트를 출력으로 생성합니다.

이 모델은 최대 131072 토큰의 컨텍스트 윈도우를 지원하며, 단일 응답에서 최대 16384 토큰을 생성할 수 있습니다. 지식 컷오프는 2024년 8월 31일입니다. Google에 따르면 Gemma 3는 140개 이상의 언어를 처리하며, 이전 Gemma 릴리스와 비교해 향상된 수학, 추론, 채팅 동작을 제공합니다. 텍스트와 함께 이미지 입력을 받아들이기 때문에 텍스트만이 아니라 비전-언어 프롬프트와 함께 작업할 수 있지만, 반환하는 모든 것은 일반 텍스트입니다.

이러한 기능은 상당히 광범위한 실용적 용도를 시사합니다. 긴 컨텍스트 윈도우는 긴 보고서 요약, 텍스트 본문에 대한 질문 답변, 확장된 채팅 기록 처리 등 대규모 문서와 관련된 작업에 적합합니다. 멀티모달 입력은 이미지를 설명하거나 추론하는 데, 예를 들어 스크린샷, 다이어그램, 사진에서 정보를 추출해 서면 답변을 반환하는 데 적합합니다. 다국어 지원과 향상된 수학 및 추론 능력은 번역, 구조화된 문제 해결, 일반 어시스턴트에 유용합니다. 도구 호출과 구조화된 출력은 기계 판독 가능한 응답이나 외부 함수 호출이 필요한 파이프라인 안에 이 모델을 배치할 수 있게 해줍니다.

api14의 OpenAI 호환 API를 통해 모델 id google/gemma-3-12b-it로 이 모델을 호출하므로, 기존 OpenAI 클라이언트 라이브러리는 base URL과 키만 변경하면 작동합니다. 지원하는 요청 파라미터는 frequency_penalty, logit_bias, max_tokens, min_p, presence_penalty, repetition_penalty, response_format, seed, stop, structured_outputs, temperature, tool_choice, tools, top_k, top_p입니다. 이 조합은 샘플링 제어, seed를 통한 결정적 출력, 중지 시퀀스, response_format과 structured_outputs를 통한 JSON 또는 스키마 제약 응답, tools와 tool_choice를 통한 도구 사용을 포괄합니다.

한 가지 유의할 점은 출력 상한입니다. 컨텍스트 윈도우가 훨씬 크더라도 응답은 16384 토큰으로 제한되므로, 매우 긴 생성은 호출을 나누거나 이어서 수행해야 합니다. 또한 2024년 8월 31일이라는 지식 컷오프는 프롬프트에서 정보를 제공하지 않는 한 모델이 그 날짜 이후의 사건을 인식하지 못한다는 것을 의미합니다. 작업이 텍스트 전용이고 이미지 입력으로 이점을 얻지 못한다면 더 작거나 더 특화된 텍스트 모델이 더 저렴하고 빠를 수 있지만, 긴 컨텍스트 내에서 텍스트와 이미지를 혼합한 작업에는 이 모델이 합리적인 기본 선택입니다.