StepFun: Step 3.5 Flash

Step 3.5 Flash는 StepFun의 텍스트 모델로, api14에 모델 id stepfun/step-3.5-flash로 등록되어 있습니다. StepFun은 이를 자사에서 가장 성능이 뛰어난 오픈소스 파운데이션 모델이라고 설명하며, 토큰당 196B 파라미터 중 11B만 활성화하는 희소 Mixture of Experts 아키텍처를 기반으로 구축되었습니다. 텍스트 카테고리에 속하므로 이미지, 오디오 또는 기타 모달리티보다는 언어 작업을 대상으로 합니다.

이 모델은 텍스트를 입력받아 텍스트를 반환합니다. 262144 토큰의 컨텍스트 윈도우를 지원하므로 단일 요청에 긴 문서, 장시간 대화 또는 상당한 크기의 코드 파일을 담을 수 있을 만큼 충분히 크며, 출력으로 최대 65536 토큰을 생성할 수 있습니다. 지원되는 파라미터 중에는 reasoning과 include_reasoning이 있어, 모델이 일반 응답과 함께 추론 모드를 노출할 수 있습니다. 또한 tools와 tool_choice를 받으므로 함수 정의를 제공하고 호출을 요청할 수 있습니다.

이러한 기능은 몇 가지 실용적인 용도를 시사합니다. 긴 컨텍스트는 기술 문서, 계약서 또는 여러 파일로 된 코드베이스와 같은 긴 원본 자료를 먼저 청크로 나누지 않고 요약하거나 질의하는 데 적합합니다. reasoning 파라미터는 단계별 작업이 도움이 되는 문제, 예를 들어 다단계 분석이나 디버깅에 맞습니다. 도구 호출은 모델이 어떤 함수를 호출할지 결정하는 에이전트 스타일 워크플로우의 후보로 만들어 주며, 65536 토큰 출력 상한은 생성된 보고서나 대규모 리팩터링처럼 답변 자체가 긴 경우에 도움이 됩니다.

api14의 OpenAI 호환 API를 통해 모델 id stepfun/step-3.5-flash를 사용하여 호출하므로, 기존 OpenAI 클라이언트 라이브러리와 요청 형식이 모델 이름만 바꾸면 작동합니다. 지원하는 요청 파라미터는 frequency_penalty, include_reasoning, max_tokens, reasoning, temperature, tool_choice, tools, top_k, top_p입니다. 실제로는 temperature, top_p 또는 top_k를 설정하여 샘플링을 조정하고, max_tokens로 응답을 제한하며, 함수 호출을 위해 tools와 tool_choice를 전달하고, 응답에서 모델의 추론 동작을 원할 때 reasoning 또는 include_reasoning을 전환합니다.

명심해야 할 주요 제약은 이것이 텍스트 전용 모델이라는 점입니다. 이미지나 오디오 입력을 받지 않으므로 멀티모달 작업에는 다른 모델이 필요합니다. 워크로드가 순전히 텍스트이고 262144 토큰 컨텍스트와 65536 토큰 출력 한도 내에 맞는다면, Step 3.5 Flash는 합리적인 선택이며, 특히 동일한 모델에서 추론과 도구 호출을 모두 원할 때 적합합니다.