OpenAI: GPT-4o-mini (2024-07-18)

GPT-4o-mini (2024-07-18)는 OpenAI의 텍스트 생성 모델로, 2024년 7월 18일에 출시되었습니다. 이 모델은 OpenAI의 소형 모델 라인에 속하며, 제공사는 이를 가장 발전된 소형 모델이자 해당 등급에서 GPT-4 Omni의 후속 모델로 위치시킵니다. 버전이 지정된 모델 id는 스냅샷을 2024-07-18에 고정하므로, 동작이 유동적인 별칭에 따라 바뀌지 않고 호출 간에 일관되게 유지됩니다.

이 모델은 텍스트, 이미지, 파일을 입력으로 받고 텍스트만 반환합니다. 컨텍스트 윈도우는 128,000 토큰이며 단일 응답에서 최대 16,384개의 출력 토큰을 생성할 수 있습니다. 지식 컷오프는 2023년 10월 31일이므로, 그 이후의 내용은 프롬프트, 제공한 파일 또는 검색 도구에서 가져와야 합니다. 이미지 입력이 지원되므로 스크린샷, 스캔한 페이지 또는 다이어그램을 텍스트 지시와 함께 전달하고 텍스트 답변을 받을 수 있습니다.

이러한 기능은 다양한 일상적인 개발자 작업에 적합합니다. 문서 및 파일 입력은 계약서, 보고서 또는 PDF에 대한 요약, 추출, 질의응답에 잘 맞으며, 이미지 입력은 차트, 영수증, UI 스크린샷, 사진으로 찍은 텍스트를 읽는 것을 포괄합니다. 128k 컨텍스트 덕분에 긴 녹취록, 코드베이스 또는 여러 문서 묶음을 먼저 청크로 나누지 않고 보낼 수 있습니다. 도구 호출과 구조화된 출력은 에이전트, 함수 라우팅, 스키마에 맞는 JSON이 필요한 파이프라인에 합리적인 선택이 되게 하며, seed, temperature, penalty 파라미터는 출력이 얼마나 결정적이거나 다양한지 제어할 수 있게 해줍니다.

이 모델은 모델 id "openai/gpt-4o-mini-2024-07-18"을 사용해 api14의 OpenAI 호환 API를 통해 호출합니다. 인터페이스가 OpenAI chat completions 형태를 따르므로 기존 OpenAI SDK와 클라이언트는 base URL 변경만으로 작동합니다. 지원하는 요청 파라미터는 frequency_penalty, logit_bias, logprobs, max_tokens, prediction, presence_penalty, response_format, seed, stop, structured_outputs, temperature, tool_choice, tools, top_logprobs, top_p, web_search_options입니다. 이는 샘플링 제어, 토큰 제한, 중지 시퀀스, 로그 확률 검사, JSON 및 스키마 제약 출력, 도구 정의와 강제 도구 선택, 웹 검색 옵션을 포괄합니다.

확정하기 전에 주의할 두 가지 제약이 있습니다. 출력은 텍스트 전용이므로 생성 이미지, 오디오 또는 임베딩이 필요하다면 이 모델은 적합하지 않습니다. 2023년 10월 31일의 지식 컷오프는 시간에 민감한 질문에 모델 자체 지식에 의존하기보다 검색, 파일 입력 또는 웹 검색 옵션이 필요하다는 뜻입니다. 그리고 16,384 토큰 출력 상한은 단일 응답의 길이를 제한하며, 이는 장문 생성 작업에서 중요합니다.