OpenAI: GPT-4o (2024-05-13)

GPT-4o (2024-05-13)는 OpenAI의 텍스트 모델입니다. "o"는 "omni"를 의미하며, 이 릴리스의 날짜는 2024년 5월 13일입니다. 이 모델은 텍스트와 이미지 입력을 모두 받아들이고 텍스트 출력을 반환하도록 만들어졌으며, OpenAI는 이를 GPT-4 Turbo의 지능 수준을 유지하면서 더 빠르다고 설명합니다. 새로운 통합을 위해 범용 OpenAI 모델을 선택한다면, 이것이 모델 id openai/gpt-4o-2024-05-13로 식별되는 버전입니다.

입력 측면에서 이 모델은 텍스트, 이미지, 파일을 받아들이고 텍스트만 생성합니다. 컨텍스트 윈도우는 128,000 토큰이므로 긴 문서, 큰 코드 파일 또는 장시간 대화를 단일 요청에 제공할 수 있습니다. 최대 출력은 4,096 토큰이며, 이는 긴 생성을 계획할 때 중요합니다. 컨텍스트에 얼마나 많은 공간이 남아 있든 응답은 그 지점에서 잘리기 때문입니다. 지식 컷오프는 2023년 10월 31일이므로, 그 날짜 이후의 내용은 모델 자체의 학습이 아니라 프롬프트, 도구 또는 웹 검색에서 와야 합니다.

이러한 기능은 몇 가지 실용적인 용도를 시사합니다. 이미지와 텍스트를 모두 읽기 때문에 스크린샷, 스캔한 페이지 또는 다이어그램에서 구조화된 데이터를 추출하거나, 시각적 콘텐츠를 설명하거나, 작성된 개요와 함께 차트에 관한 질문에 답하는 작업에 적합합니다. 큰 컨텍스트 윈도우는 문서 질의응답, 긴 보고서 요약, 상당한 규모의 코드베이스를 한 번에 검토하는 작업을 실행 가능하게 만듭니다. 도구와 구조화된 출력 지원은 에이전트 스타일 워크플로와 모델이 다른 서비스가 파싱하는 JSON을 반환해야 하는 파이프라인에 합리적인 선택이 되게 합니다.

api14를 통해서는 OpenAI 호환 API를 사용해 모델 id openai/gpt-4o-2024-05-13로 이 모델을 호출하므로, 기존 OpenAI SDK와 클라이언트는 base URL과 key를 변경하면 작동합니다. 지원되는 요청 파라미터는 frequency_penalty, logit_bias, logprobs, max_completion_tokens, max_tokens, prediction, presence_penalty, response_format, seed, stop, structured_outputs, temperature, tool_choice, tools, top_logprobs, top_p, web_search_options입니다. Tools와 tool_choice는 함수 호출을 다루고, response_format과 structured_outputs는 제한된 출력 형태를 다루며, seed는 더 재현 가능한 샘플링을 지원합니다.

두 가지 한계는 미리 계획할 가치가 있습니다. 4,096 토큰 출력 상한은 장문 작성에는 modest하므로, 매우 긴 단일 응답이 필요한 작업에는 다른 모델이 더 적합할 수 있습니다. 또한 2023년 10월 지식 컷오프는 시간에 민감한 질문을 모델의 기억에 의존하기보다 도구나 웹 검색으로 처리해야 함을 의미합니다.