Microsoft: Phi 4

Microsoft Phi 4는 Microsoft의 텍스트 모델로, 2025년 1월 10일에 출시되었으며 api14에서 microsoft/phi-4로 식별됩니다. 이 모델은 Phi 제품군을 만든 Microsoft Research에서 나왔으며, 제공업체는 이 모델을 복잡한 추론 작업에서 좋은 성능을 발휘하도록 구축된 140억 파라미터 모델로서 메모리가 제한적이거나 빠른 응답이 필요한 상황에서도 효율적으로 작동한다고 설명합니다. 텍스트 범주에 속하므로 이미지나 오디오가 아닌 언어 작업을 대상으로 합니다.

이 모델은 텍스트 입력을 받아 텍스트 출력을 반환합니다. 컨텍스트 윈도우는 16,384 토큰이고 최대 출력은 14,745 토큰이며, 지식 컷오프는 2024년 6월 30일입니다. 지원되는 요청 파라미터는 frequency_penalty, logit_bias, max_tokens, min_p, presence_penalty, repetition_penalty, response_format, seed, stop, structured_outputs, temperature, top_k, top_p입니다. 이 조합은 일반적인 샘플링 제어와 구조화된 출력을 포함하며, 응답이 자유 텍스트가 아니라 스키마를 준수해야 하는 경우에 중요합니다.

이러한 기능은 몇 가지 실용적인 용도을 시사합니다. 다단계 분석, 수학 유형 문제, 논리 질문처럼 추론이 많은 프롬프트가 명시된 초점이므로, 모델이 답하기 전에 중간 단계를 거쳐야 하는 작업에 적합합니다. 제한된 메모리에서 효율적으로 실행되고 빠르게 응답하도록 설계되었기 때문에, 매우 큰 모델보다 더 작은 모델이 선호되는 로컬 또는 자체 호스팅 환경을 포함해 지연에 민감하거나 리소스가 제한된 배포에도 적합합니다. 구조화된 출력과 response_format은 JSON 또는 다른 정의된 형태로 결과를 받고 싶은 추출 및 분류 작업에 사용할 수 있게 해줍니다. 16,384 토큰 컨텍스트는 문서, 대화 기록, 코드 파일처럼 적당히 긴 입력을 지원하지만, 장문 컨텍스트 모델은 아닙니다.

api14의 OpenAI 호환 API를 통해 모델 id microsoft/phi-4를 사용해 호출합니다. 기존 OpenAI 클라이언트를 api14 기본 URL로 지정하고, chat completions 스타일 요청을 유지한 채 model 필드를 해당 id로 설정하세요. 위에 나열된 파라미터 중 어느 것이든 요청 본문에 전달할 수 있으므로, temperature, top_p, top_k, min_p, repetition_penalty, frequency_penalty, presence_penalty, logit_bias, seed, stop, max_tokens, response_format, structured_outputs를 모두 사용해 응답을 조정하거나 제한할 수 있습니다.

염두에 두어야 할 주요 제약은 컨텍스트 윈도우입니다. 16,384 토큰이고 최대 14,745 토큰의 출력을 낼 수 있으므로 집중적인 프롬프트와 적당한 문서에는 잘 맞지만, 입력이 대규모 코드베이스, 긴 책, 긴 대화 기록이라면 더 큰 컨텍스트를 가진 모델이 더 나은 선택입니다. 또한 2024년 6월 30일이라는 지식 컷오프는 모델이 그 날짜 이후의 사건을 전혀 알지 못한다는 뜻이므로, 시간에 민감한 내용은 프롬프트에 제공해야 합니다.