ByteDance: Seedance 1.5 Pro

Seedance 1.5 Pro는 ByteDance의 비디오 생성 모델로, api14에 bytedance/seedance-1-5-pro로 등록되어 있습니다. ByteDance의 Seedance 오디오비주얼 생성 모델 라인에 속하며, 제공자는 4.5B 파라미터 Dual-Branch Diffusion Transformer 아키텍처를 기반으로 구축되었다고 설명합니다. 비디오 카테고리에 속하므로, 텍스트나 채팅 작업을 처리하는 것이 아니라 비디오를 생성하는 역할을 합니다.

이 모델은 텍스트와 이미지 입력을 받아들이고 비디오를 유일한 출력으로 생성합니다. 단일 통합 패스에서 비디오와 오디오를 동시에 생성하기 때문에, 오디오는 나중에 추가되는 것이 아니라 생성된 결과의 일부입니다. 출력은 480p, 720p 또는 1080p로, 화면 비율 1:1, 3:4, 9:16, 9:21, 4:3, 16:9, 21:9로, 그리고 4초에서 12초까지 1초 단위의 길이로 생성할 수 있습니다. 또한 프레임 이미지, 구체적으로 first_frame과 last_frame을 지원하여 클립의 시작, 끝, 또는 양쪽 끝을 고정할 수 있습니다. 이 모델에 대해 공개된 토큰 단위의 컨텍스트 길이는 없으며, 이는 비디오 생성기에서 예상되는 바이고, 모델 메타데이터에서 maxOutput은 0입니다.

이러한 기능들은 상당히 특정한 용도 집합을 가리킵니다. 텍스트 to 비디오는 짧은 개념 클립, 소셜 포맷, 스토리보드 미리보기에 적합하며, 특히 화면 비율 목록이 정사각형, 세로, 와이드스크린 전달을 포함하기 때문입니다. 이미지 to 비디오는 first_frame과 last_frame과 결합되어, 이미 스틸이나 키프레임이 있고 정의된 시각적 양 끝 사이에 움직임을 원하는 워크플로에 맞습니다. 예를 들어 제품 샷을 애니메이션화하거나 편집의 두 프레임을 연결하는 경우입니다. 네이티브 오디오 생성은 사운드가 출력의 일부인 클립을 요청할 수 있고 별도로 스코어링할 필요가 없다는 것을 의미합니다. 4초에서 12초 범위는 이 모델을 긴 연속 시퀀스보다는 짧은 샷에 가장 적합하게 만들며, 해상도 옵션을 통해 미리보기 품질과 최종 출력 품질을 맞바꿀 수 있습니다.

api14의 OpenAI 호환 API를 통해 모델 id "bytedance/seedance-1-5-pro"를 사용하여 호출합니다. 인터페이스가 OpenAI 형식을 따르므로, 게이트웨이의 다른 모델에 이미 사용하는 동일한 클라이언트 라이브러리와 요청 구조를 사용할 수 있으며, model 필드를 이 id로 지정하면 됩니다. 요청 파라미터 중에서 frequency_penalty가 이 모델에 지원되는 것으로 나열된 항목입니다. 해상도, 화면 비율, 길이, first_frame, last_frame, 오디오 생성과 같은 생성 설정은 텍스트 모델에 사용하는 표준 샘플링 파라미터가 아니라 모델 자체의 옵션을 통해 노출됩니다.

확정하기 전에 요구 사항을 모델이 노출하는 것과 대조하여 확인할 가치가 있습니다. 공개된 토큰 컨텍스트 길이가 없고 maxOutput이 0이므로, 이는 텍스트 완성 모델이 아니며 토큰 기반 프롬프팅이나 텍스트 응답이 필요한 곳에 사용해서는 안 됩니다. 출력은 생성당 최대 12초로 제한되므로, 더 긴 작품은 여러 클립으로 조립해야 합니다. 작업이 텍스트, 이미지 이해 또는 다른 비디오 외 양식이라면, api14에서 해당 카테고리의 모델이 더 잘 맞을 것입니다.