OpenAI: GPT-4

GPT-4는 OpenAI의 텍스트 모델로, api14에 모델 id openai/gpt-4로 등록되어 있습니다. 텍스트 카테고리에 속하며, 제공자는 이 모델을 OpenAI의 주력 대규모 언어 모델이라고 설명하는데, 더 넓은 일반 지식과 고급 추론을 통해 이전 모델보다 더 높은 정확도로 어려운 문제를 해결하도록 만들어졌습니다. 제공자 릴리스 날짜는 2023-05-28이고, 모델의 지식 컷오프는 2021-09-30입니다.

api14에서 이 모델은 텍스트 입력을 받고 텍스트 출력을 반환합니다. 컨텍스트 길이는 8191 토큰이고 최대 출력은 4096 토큰입니다. 지원되는 요청 매개변수에는 temperature, top_p, frequency_penalty, presence_penalty, stop, seed, logit_bias, logprobs, top_logprobs, max_tokens, max_completion_tokens, response_format, structured_outputs, tools, tool_choice가 포함됩니다. 이 조합은 샘플링 제어, seed를 통한 어느 정도 결정적인 동작, logprobs를 통한 토큰 수준 검사, tools 매개변수를 통한 함수 호출을 포괄합니다.

실용적인 용도는 이러한 기능에서 나옵니다. 일반 추론과 지식이 많이 필요한 질의응답은 이 모델이 표방하는 강점에 맞습니다. 더 긴 프롬프트는 8191 토큰 컨텍스트 안에서 사용할 수 있으므로, 입력과 요청된 출력이 이 창 안에 머무는 한 문서 요약, 여러 문단 작성, 추출 및 재작성 작업이 합리적입니다. tools와 tool_choice가 지원되므로, 외부 함수를 호출하는 에이전트나 워크플로에서 이 모델을 추론 단계로 사용할 수 있습니다. 자유로운 산문이 아니라 기계가 읽을 수 있는 결과가 필요할 때는 structured_outputs와 response_format이 도움이 되고, 예를 들어 분류나 평가 파이프라인에서 각 토큰에서 모델이 얼마나 확신했는지 검사하고 싶을 때는 logprobs 또는 top_logprobs가 유용합니다.

api14를 통해 호출하는 방식은 다른 OpenAI 호환 엔드포인트와 같습니다. model 필드를 openai/gpt-4로 설정한 chat completions 요청을 게이트웨이로 보내고, 선택한 매개변수를 요청 본문에 전달하세요. API가 OpenAI 호환이므로 기존 OpenAI 클라이언트 라이브러리와 코드는 보통 base URL과 API 키만 바꿔서 api14를 가리키게 할 수 있고, 요청 형태를 다른 식으로 바꿀 필요는 없습니다. 샘플링을 위해 temperature와 top_p를 설정하고, 응답을 제한하기 위해 max_tokens 또는 max_completion_tokens를, 생성을 일찍 끝내기 위해 stop 시퀀스를, 더 반복 가능한 출력을 원할 때 seed를 설정할 수 있습니다. 도구 사용에는 tools와 선택적으로 tool_choice를 제공하고, 구조화된 결과에는 response_format 또는 structured_outputs를 사용하세요.

몇 가지 한계는 염두에 둘 만합니다. 8191 토큰의 컨텍스트 창은 현재 기준으로 작은 편이므로, 아주 긴 문서나 긴 다중 턴 대화는 청킹이나 트리밍이 필요할 수 있습니다. 지식 컷오프가 2021-09-30이라는 점은 이 모델이 그 날짜 이후의 사건을 전혀 알지 못한다는 뜻이므로, 시간에 민감한 내용은 프롬프트에 제공하거나 도구를 통해 가져와야 합니다. 입력은 텍스트 전용이므로 이미지와 오디오는 여기서 범위 밖입니다. 작업이 훨씬 더 큰 컨텍스트, 더 최근의 지식, 또는 비텍스트 입력에 의존한다면, api14의 다른 모델이 더 적합할 가능성이 큽니다.