Auto Router

Auto Router는 OpenRouter의 모델로, api14에서 openrouter/auto로 식별됩니다. 단일 고정 모델이 아니라 라우팅 계층입니다. OpenRouter는 이를 시장의 지혜를 기반으로 프롬프트에 가장 적합한 모델을 자동으로 선택하며, 커뮤니티가 집단적으로 지출하는 것을 기준으로 라우팅한다고 설명합니다. 이미지 main 카테고리에 속하며 text 카테고리도 함께 가지므로, 두 영역을 아우르는 작업을 위한 것입니다. 제공자 릴리스 날짜는 2023-11-08입니다.

입력 측면에서 Auto Router는 텍스트, 이미지, 오디오, 파일, 비디오를 받으며, 이는 단일 엔드포인트로서는 넓은 양식 집합입니다. 출력으로 텍스트와 이미지를 생성합니다. 컨텍스트 윈도는 2,000,000 토큰으로, 매우 긴 문서나 혼합 미디어 페이로드를 한 요청에 담을 수 있을 만큼 큽니다. 라우팅이 뒤에서 이루어지므로 주어진 호출을 처리하는 구체적 모델은 프롬프트에 따라 달라질 수 있지만, 코드를 작성하는 인터페이스는 동일하게 유지됩니다.

실용적 용도는 그 조합에서 따라옵니다. 긴 컨텍스트에 파일과 텍스트 입력을 더하면 대규모 코퍼스에 대한 문서 분석, 요약, 질의응답에 적합합니다. 이미지와 비디오 입력에 텍스트와 이미지 출력을 더하면 캡셔닝, 시각적 검사, 그리고 그림을 돌려받고 싶은 생성 또는 편집 작업에 적합합니다. 오디오 입력은 같은 파이프라인을 전사에 가까운 워크플로나 음성 콘텐츠 워크플로로 확장합니다. 도구와 구조화 출력 지원 덕분에 함수를 호출하거나 JSON 형태 응답을 반환해야 하는 에이전트 스타일 애플리케이션에 합리적이며, 웹 검색 옵션은 프롬프트가 최신 정보에 의존할 때 도움이 됩니다.

모델 id openrouter/auto를 사용해 api14의 OpenAI 호환 API를 통해 호출하므로, 기존 OpenAI SDK와 클라이언트는 base URL과 키만 바꾸면 작동합니다. 지원되는 요청 매개변수는 frequency_penalty, include_reasoning, logit_bias, logprobs, max_tokens, min_p, prediction, presence_penalty, reasoning, reasoning_effort, repetition_penalty, response_format, seed, stop, structured_outputs, temperature, tool_choice, tools, top_a, top_k, top_logprobs, top_p, web_search_options입니다. 샘플링 제어, 페널티, 시드, 정지 시퀀스, 로그 확률, 추론 제어를 모두 사용할 수 있으며, 프로그래밍 방식 사용을 위한 도구와 구조화 출력도 함께 제공됩니다.

고려해야 할 한 가지는 라우팅 결정이 대신 내려진다는 점입니다. 따라서 특정 모델의 정확한 동작, 호출 간 결정성, 또는 고정된 출력 상한이 필요하다면 이름이 지정된 모델이 더 적합할 수 있습니다. maxOutput 값은 여기에 공개되지 않으므로 그 불확실성을 염두에 두고 계획하세요. Auto Router는 요청마다 모델을 고르고 싶지 않은 혼합 양식, 긴 컨텍스트 작업을 위한 편의 엔드포인트로 취급하는 것이 가장 좋습니다.