OpenAI: GPT-3.5 Turbo 16k

GPT-3.5 Turbo 16k는 OpenAI의 텍스트 모델로, 제공업체가 2023년 8월 28일에 출시했습니다. GPT-3.5 제품군에 속하며 표준 GPT-3.5 Turbo의 긴 컨텍스트 변형으로, 해당 모델보다 약 네 배 긴 컨텍스트 길이를 제공합니다. 특화된 모델이 아니라 범용 언어 모델이며, 단일 요청에서 기본 GPT-3.5 Turbo가 제공하는 것보다 더 많은 여유가 필요한 개발자를 대상으로 합니다.

이 모델은 텍스트를 입력으로 받고 텍스트를 출력으로 반환합니다. 컨텍스트 윈도우는 16,385 토큰이고 최대 출력은 4,096 토큰입니다. 지식 컷오프는 2021년 9월 30일이므로 그 이후의 내용은 학습 데이터 밖에 있습니다. 더 큰 컨텍스트가 여기서 주요 차별점입니다. OpenAI는 단일 요청에서 약 20페이지 분량의 텍스트를 지원한다고 설명하며, 이는 짧은 지시문보다 많은 원본 자료를 담는 프롬프트에 적합하게 만듭니다.

이러한 용량이 실제 사용 사례를 결정합니다. 긴 문서 요약, 붙여넣은 코퍼스에 대한 질의응답, 긴 보고서에서 구조화된 필드 추출, 많은 양의 이전 대화를 유지해야 하는 멀티턴 대화가 모두 16,385 토큰 윈도우 안에 들어갑니다. 이 모델은 도구와 구조화된 출력을 지원하므로, 모델이 도구를 선택하고 인자를 반환하는 함수 호출 스타일 워크플로와 response_format을 통해 JSON 스키마를 준수해야 하는 응답에도 사용할 수 있습니다. Logprobs와 top_logprobs를 사용할 수 있어 최종 텍스트만이 아니라 모델의 토큰 수준 신뢰도를 검사해야 할 때 도움이 됩니다.

api14의 OpenAI 호환 API를 통해 모델 id "openai/gpt-3.5-turbo-16k"로 호출합니다. 엔드포인트가 OpenAI chat completions 형태를 따르므로 기존 OpenAI SDK와 클라이언트는 base URL과 키만 바꾸면 작동합니다. 지원되는 요청 매개변수는 frequency_penalty, logit_bias, logprobs, max_completion_tokens, max_tokens, presence_penalty, response_format, seed, stop, structured_outputs, temperature, tool_choice, tools, top_logprobs, top_p입니다. Seed는 반복 가능한 샘플링을 원할 때 유용하고, stop 시퀀스는 생성을 제한할 수 있게 해줍니다.

확정하기 전에 저울질해 볼 두 가지 제약이 있습니다. 2021년 9월 지식 컷오프는 이후의 사건, 라이브러리, API를 직접 그 컨텍스트를 제공하지 않는 한 모델이 알지 못한다는 뜻이며, 4,096 토큰 출력 상한은 입력 윈도우가 크더라도 한 응답에서 생성할 수 있는 양을 제한합니다. 작업에 더 최신 지식, 더 긴 출력, 또는 이미지 입력이 필요하다면 이 모델은 이를 다루지 못하며, api14의 다른 모델이 더 나은 선택입니다.