OpenAI: o1

OpenAI o1은 2024년 12월 17일에 출시된 OpenAI의 텍스트 중심 모델입니다. 이는 OpenAI가 자사의 최신이자 가장 강력한 모델 패밀리라고 설명하는 o1 패밀리에 속합니다. 이 시리즈의 핵심 아이디어는 모델이 응답하기 전에 더 많은 시간을 들여 생각한다는 것이며, 추론을 위해 대규모 강화 학습으로 훈련되었습니다. 이전 OpenAI 채팅 모델을 사용해 본 적이 있다면, 실질적인 차이는 o1이 즉시 답변하기보다는 내부적으로 문제를 해결하도록 설계되었다는 점입니다.

입력 측면에서 o1은 텍스트, 이미지, 파일을 받아들이고 텍스트를 반환합니다. 컨텍스트 윈도우는 200,000 토큰이고 최대 출력은 100,000 토큰이므로, 긴 문서와 큰 프롬프트가 상당한 분량의 생성 응답과 함께 편안하게 들어갑니다. 지식 컷오프는 2023년 10월 31일이며, 이는 작업이 그 날짜 이후의 사건이나 라이브러리 버전에 의존할 때 중요합니다. 지원되는 요청 파라미터에는 max_tokens, seed, response_format, structured_outputs, tools, tool_choice, reasoning, include_reasoning이 포함됩니다. reasoning과 include_reasoning 파라미터는 이 패밀리에 특화된 것으로, 모델의 내부 추론을 블랙 박스로 취급하지 않고 제어하거나 드러낼 수 있게 해줍니다.

이러한 기능들은 상당히 구체적인 사용 사례 집합을 가리킵니다. 큰 컨텍스트와 파일 입력은 답변이 여러 페이지에 걸쳐 흩어진 세부 사항에 의존하는 긴 문서, 계약서, 연구 논문 또는 코드베이스의 분석에 적합합니다. 이미지 입력은 이를 텍스트와 함께 해석해야 하는 다이어그램, 스크린샷, 스캔 자료로 확장합니다. 이 모델은 추론하도록 훈련되었기 때문에 다단계 문제, 즉 디버깅, 수학 작업, 계획, 그리고 첫 추측이 틀리면 비용이 큰 작업에 적합합니다. 도구와 구조화된 출력 지원 덕분에 모델이 함수를 호출하거나 다운스트림 코드가 파싱할 수 있는 JSON을 반환해야 하는 파이프라인 안에서 사용할 수 있습니다.

o1은 모델 id "openai/o1"을 사용하여 api14의 OpenAI 호환 API를 통해 호출합니다. 인터페이스가 OpenAI 채팅 완성 형태를 따르므로, 기존 OpenAI SDK 클라이언트는 일반적으로 base URL을 api14로 지정하고 해당 모델 id로 바꾸면 작동합니다. 위에 나열된 요청 파라미터가 의존해야 할 항목입니다: max_tokens, seed, response_format, structured_outputs, tools, tool_choice, reasoning, include_reasoning. 테스트를 위해 결정론적 샘플링이 필요하면 seed를 사용할 수 있고, 기계가 읽을 수 있는 출력이 필요하면 structured_outputs와 response_format이 이를 처리합니다.

주목할 만한 한 가지 한계는 2023년 10월 31일이라는 지식 컷오프이므로, 최신 정보가 필요한 모든 것은 모델 자체의 지식이 아니라 프롬프트, 업로드한 파일 또는 도구 호출에서 와야 합니다. 출력은 텍스트 전용이므로 이미지 생성은 범위 밖입니다. 워크로드가 확장된 추론의 이점을 얻지 못하는 단순하고 지연에 민감한 채팅이라면, 더 가벼운 모델이 더 나은 선택일 수 있습니다.