OpenAI: GPT-3.5 Turbo (older v0613)

GPT-3.5 Turbo (구버전 v0613)는 OpenAI의 텍스트 모델로, 모델 id openai/gpt-3.5-turbo-0613으로 배포됩니다. 이는 OpenAI가 가장 빠른 모델 라인이라고 설명하는 GPT-3.5 Turbo 제품군에 속하며, 이 특정 버전은 특정 동작에 의존하는 워크로드를 위해 계속 제공되는 구버전 스냅샷입니다. 학습 데이터는 2021년 9월까지이므로, 프롬프트에서 직접 정보를 제공하지 않는 한 그 이후의 사건은 알지 못합니다.

이 모델은 텍스트를 입력으로 받고 텍스트를 출력으로 반환하므로, 채팅 및 전통적인 완성 작업을 위한 범용 언어 모델입니다. 자연어와 코드를 모두 이해하고 생성할 수 있습니다. 컨텍스트 윈도우는 4,095 토큰이고 최대 출력은 3,685 토큰이므로, 더 큰 최신 모델과 비교하면 프롬프트와 응답이 상당히 빠듯한 예산을 공유합니다. 여기에는 이미지, 오디오 또는 파일 입력이 없습니다. 보내는 모든 것은 텍스트여야 합니다.

산문과 코드를 모두 처리하므로, 이 모델은 다양한 일상 작업에 적합합니다. 채팅 어시스턴트와 대화형 인터페이스, 텍스트 초안 작성과 재작성, 짧은 문서 요약, 작은 입력에 대한 분류와 추출, 가벼운 코드 생성 또는 설명 등입니다. 도구와 구조화된 출력 지원 덕분에 간단한 함수 호출과 정의된 형식의 응답 생성에도 사용할 수 있으며, 자유 텍스트가 아닌 기계 판독 가능한 출력이 필요할 때 도움이 됩니다. 4,095 토큰 윈도우는 몇 페이지 분량의 텍스트에 편안히 들어가는 프롬프트와 답변에 적합하며, 긴 문서 분석에는 맞지 않습니다.

api14의 OpenAI 호환 API를 통해 요청에 모델 id openai/gpt-3.5-turbo-0613을 전달하여 호출하므로, 기존 OpenAI SDK와 클라이언트 라이브러리가 base URL과 키 변경만으로 작동합니다. 지원되는 요청 파라미터는 frequency_penalty, logit_bias, logprobs, max_completion_tokens, presence_penalty, response_format, seed, stop, structured_outputs, temperature, tool_choice, tools, top_logprobs, top_p입니다. 이는 샘플링 제어, seed를 통한 결정성, logprobs와 top_logprobs를 통한 토큰 수준 검사, tools, tool_choice, response_format, structured_outputs를 통한 도구 또는 스키마 기반 출력을 포함합니다.

계획할 때 고려해야 할 주요 제약은 컨텍스트 길이입니다. 4,095 토큰과 3,685 토큰 출력 상한에서는 긴 대화, 큰 코드베이스 또는 여러 문서 프롬프트에 청킹, 검색 또는 트리밍이 필요하며, 2021년 9월 지식 컷오프는 최신 정보를 자체 컨텍스트에서 가져와야 함을 의미합니다. 작업에 훨씬 더 큰 윈도우, 더 새로운 지식 또는 멀티모달 입력이 필요하다면 api14의 다른 모델이 더 잘 맞을 것입니다. 속도가 중요한 짧고 대량의 텍스트 및 코드 작업에는 이 모델이 여전히 합리적인 선택입니다.