OpenAI: GPT-3.5 Turbo Instruct

GPT-3.5 Turbo Instruct는 OpenAI의 텍스트 모델로, 2023년 9월 28일에 출시되었습니다. 이는 GPT-3.5 Turbo의 변형으로 지시문 프롬프트에 맞게 조정되었으며, OpenAI의 대화형 모델에서 볼 수 있는 채팅 관련 최적화를 생략했습니다. 훈련 데이터는 2021년 9월까지로, 이는 명시된 지식 컷오프입니다.

이 모델은 텍스트를 입력으로 받아 텍스트를 출력으로 반환하므로, 멀티모달 작업보다는 일반 완성 스타일 작업에 적합합니다. 컨텍스트 길이는 4095 토큰이고 최대 출력은 3685 토큰입니다. 지원되는 요청 매개변수에는 temperature, top_p, max_tokens, stop, frequency_penalty, presence_penalty, logit_bias, logprobs, top_logprobs, seed, response_format, structured_outputs가 포함됩니다.

이 모델은 채팅에 최적화된 것이 아니라 지시문에 맞게 조정되었기 때문에, 단일 턴 프롬프트에서 완성으로 이어지는 작업에 자연스럽게 맞습니다. 일반적인 용도로는 텍스트 초안 작성 및 재작성, 요약, 분류, 정의된 구조로의 추출, 하나의 지시를 보내고 하나의 응답을 소비하는 생성 파이프라인 등이 있습니다. 구조화된 출력과 response_format 지원은 다운스트림 코드가 예측 가능한 형태를 필요로 할 때 유용하며, logprobs와 top_logprobs는 토큰 수준의 신뢰도를 검사하고 싶을 때 도움이 됩니다. seed 매개변수는 실행 간에 더 재현 가능한 샘플링을 원할 때 도움이 됩니다.

모델 ID "openai/gpt-3.5-turbo-instruct"를 사용하여 api14의 OpenAI 호환 API를 통해 이 모델을 호출합니다. 요청은 OpenAI 채팅 완성 스타일 스키마를 따르므로, 기존 OpenAI SDK와 클라이언트는 기본 URL과 키만 변경하면 작동합니다. 지시문을 user 메시지 콘텐츠로 보내고 위에 나열된 지원 매개변수 중 하나를 설정하세요. 이 모델은 채팅에 최적화된 것이 아니라 지시문에 맞게 조정되었기 때문에, 명확한 단일 지시문으로 작성된 프롬프트가 긴 다중 턴 대화보다 더 잘 맞는 경향이 있습니다.

계획할 때 고려해야 할 주요 제약은 4095 토큰의 컨텍스트 길이와 2021년 9월의 지식 컷오프이므로, 최신 정보가 필요한 것은 프롬프트 자체에 제공해야 합니다. 긴 문서, 큰 코드 파일 또는 확장된 다중 턴 대화는 윈도우를 초과하거나 여기서 덜 자연스럽게 작동할 수 있습니다. 대화형 주고받기가 필요하다면 채팅에 최적화된 모델이 보통 더 잘 맞고, 훨씬 더 큰 컨텍스트가 필요하다면 카탈로그의 다른 모델이 더 적합할 것입니다.