Google: Gemma 2 27B

Google Gemma 2 27B는 Gemini 모델을 만들 때 사용된 것과 동일한 연구와 기술로 구축된 Google의 오픈 텍스트 모델입니다. Gemma 2 제품군에 속하며, 27B 파라미터로 해당 라인에서 가장 큰 변형입니다. 이 모델은 제공업체에 의해 2024년 7월 13일에 출시되었고, 지식 컷오프는 2024년 6월 30일이므로 그 이후의 내용은 학습 중에 습득한 범위를 벗어납니다.

이것은 텍스트 입력, 텍스트 출력 모델입니다. 컨텍스트 윈도우는 8192 토큰이고, 최대 출력은 2048 토큰입니다. 이 조합이 프롬프트를 계획하는 방식을 결정합니다. 긴 문서, 큰 코드 파일 또는 긴 채팅 기록은 지시문과 함께 8192 토큰 예산 안에 들어가야 하며, 응답 자체는 2048 토큰으로 제한됩니다. 여기에는 이미지, 오디오 또는 다른 입력 양식이 없으므로 보내는 모든 것은 일반 텍스트여야 합니다.

실용적인 용도는 이 프로필에서 따라옵니다. 채팅 어시스턴트, 프롬프트에 붙여넣은 자료에 대한 질의응답, 컨텍스트 윈도우에 맞는 기사나 보고서 요약, 초안 작성 및 재작성, 분류 및 추출 작업, 출력 제한 내에서의 코드 설명 또는 생성에 잘 작동합니다. 지시문 튜닝된 모델이므로 모든 요청에 몇 가지 예시가 필요하지 않고 직접적인 작업 설명에 반응합니다. 구조화된 출력 지원 덕분에 응답이 스키마를 따라야 할 때도 합리적인 선택이 됩니다. 예를 들어 지원 티켓이나 제품 설명에서 필드를 JSON으로 추출하는 경우입니다.

모델 id "google/gemma-2-27b-it"를 사용하여 api14의 OpenAI 호환 API를 통해 호출합니다. 인터페이스가 OpenAI 채팅 완성 형태를 따르므로 기존 OpenAI 클라이언트를 api14로 지정하고 모델 문자열을 변경할 수 있습니다. 지원되는 요청 파라미터는 frequency_penalty, max_tokens, presence_penalty, repetition_penalty, response_format, seed, stop, structured_outputs, temperature, top_p입니다. 실제로는 temperature와 top_p를 설정하여 샘플링을 제어하고, max_tokens를 사용하여 응답을 2048 출력 제한 내로 제한하고, stop 시퀀스를 적용하여 생성을 깔끔하게 종료하고, 반복 가능한 결과를 원할 때 seed를 사용합니다. 페널티 파라미터는 반복되는 표현을 줄이는 데 도움이 되고, response_format과 structured_outputs는 출력이 정의된 구조를 따라야 하는 경우를 처리합니다.

고려해야 할 주요 제약은 컨텍스트 윈도우입니다. 8192 토큰으로 많은 최신 모델이 제공하는 것보다 작으므로 매우 긴 문서, 큰 저장소 또는 장시간 실행되는 대화에 의존하는 워크로드는 청킹, 검색 또는 더 큰 윈도우를 가진 모델이 필요할 수 있습니다. 2048 토큰 출력 상한도 마찬가지로 매우 긴 단일 응답을 배제합니다. 작업이 이러한 범위에 맞고 지시문 따르기와 구조화된 출력 지원을 갖춘 오픈 Google 모델을 원한다면, Gemma 2 27B는 이미 사용 중인 동일한 API 표면을 통해 테스트할 수 있는 간단한 옵션입니다.