OpenAI: GPT-4o

GPT-4o는 OpenAI의 텍스트 생성 모델이며, api14에서는 openai/gpt-4o로 식별됩니다. 이 이름은 "omni"를 뜻하며, 이는 하나 이상의 종류의 입력을 받는다는 점을 반영합니다. 이 모델은 제공업체가 2024년 5월 13일에 출시했고 텍스트 카테고리에 속하며, 지식 컷오프는 2023년 10월 31일입니다. GPT-4 Turbo를 사용해 본 적이 있다면, GPT-4o는 그 수준의 지능을 유지하는 것으로 위치付け되므로, 특화된 모델보다 범용 OpenAI 모델을 원할 때 합리적인 기본 선택입니다.

입력으로 이 모델은 텍스트, 이미지, 파일을 받아들이고, 텍스트만 생성합니다. 이 조합은 프롬프트가 단순한 산문이 아닌 작업에서 중요합니다. 스크린샷, 스캔한 페이지 또는 첨부 문서를 지시문과 함께 보낼 수 있고, 모델은 텍스트로 응답합니다. 컨텍스트 윈도는 128,000 토큰으로, 긴 문서, 멀티턴 대화 또는 큰 코드 파일을 단일 요청에 담기에 충분합니다. 출력은 응답당 16,384 토큰으로 제한되므로, 매우 긴 생성은 그 상한을 염두에 두고 계획해야 합니다. 예를 들어 섹션을 순차적으로 요청하는 방식입니다.

실용적인 용도는 이러한 기능에서 따라옵니다. 문서 질의응답과 요약은 파일을 첨부하거나 긴 대화 기록을 붙여 넣고 구체적인 답변을 요청할 때 잘 작동합니다. 이미지 이해는 차트 읽기, 스크린샷 설명, 사진에서 텍스트 추출 또는 UI 목업을 사양과 대조해 확인하는 작업을 지원합니다. 이 모델은 도구와 구조화된 출력을 지원하므로, 응답이 스키마를 따라야 하는 에이전트 스타일 워크플로와 데이터 추출 파이프라인에도 적합합니다. 일반 채팅, 초안 작성, 다시 쓰기, 코드 지원은 모두 범위 안에 있으며, 긴 컨텍스트 덕분에 단일 코드 조각이 아니라 저장소 수준 질문에도 사용할 수 있습니다.

이 모델은 모델 id openai/gpt-4o를 사용해 api14의 OpenAI 호환 API를 통해 호출하므로, 기존 OpenAI SDK와 클라이언트는 base URL과 키만 바꾸면 작동합니다. 지원되는 요청 매개변수는 frequency_penalty, logit_bias, logprobs, max_completion_tokens, max_tokens, prediction, presence_penalty, response_format, seed, stop, structured_outputs, temperature, tool_choice, tools, top_logprobs, top_p, web_search_options입니다. 실제로 이는 샘플링 제어, seed를 통한 결정론적에 가까운 동작, response_format과 structured_outputs를 통한 JSON 및 스키마 제약 출력, tools와 tool_choice를 통한 함수 호출, 토큰 제한, 선택적 웹 검색을 포괄합니다.

선택할 때 염두에 둘 만한 두 가지 제한이 있습니다. 출력은 16,384 토큰에서 멈추므로, 단일하고 매우 긴 생성이 필요하면 작업을 나누거나 출력 허용량이 더 큰 모델을 골라야 할 수 있습니다. 지식 컷오프가 2023년 10월 31일이라는 점은 모델이 이후 사건을 스스로 알지 못한다는 뜻이며, 이때 web_search_options 매개변수나 직접 검색한 컨텍스트가 유용해집니다. 작업이 순전히 텍스트이고 이미지나 파일 입력의 이점이 없다면, 더 작은 텍스트 전용 모델이 같은 작업에 더 저렴하고 빠를 수 있습니다.