Baseten: Elephant 1 (free)

Elephant 1은 Baseten의 결정 모델로, 모델 id baseten/elephant-1:free로 공개되었습니다. 이 모델은 Baseten의 연구 팀인 Base Labs에서 나왔으며, 9B 파라미터 베이스인 Qwen3.5-9B를 기반으로 구축되었습니다. 이 모델의 주요 카테고리는 decisions이며, 이는 일반 채팅이나 콘텐츠 생성이 아니라 모델이 하도록 설계된 작업을 반영합니다. 이 모델에 대해 명시된 제공자 릴리스 날짜는 2026-10-21입니다.

이 모델은 텍스트를 입력 모달리티로 받고 결정을 출력 모달리티로 생성합니다. 텍스트 또는 JSON으로 주어진 상태와 타입이 지정된 질문들을 함께 받아 동작하도록 만들어졌습니다. 이러한 질문은 예/아니오, 객관식 또는 서수형일 수 있습니다. 컨텍스트 윈도우는 16,384 토큰이고, 최대 출력은 14,745 토큰입니다. 이 모델에 대해 지원되는 파라미터는 나열되어 있지 않으므로, 호출할 때 temperature나 top_p 같은 샘플링 제어를 사용할 수 있다고 가정해서는 안 됩니다.

출력이 자유 형식의 산문이 아니라 결정이기 때문에, 실용적인 용도는 제공된 상태에 대해 구조화된 질문을 하는 데서 나옵니다. JSON 상태를 전달하고 예/아니오 질문을 하여 이진 판단을 얻거나, 선택지 집합을 제시하고 모델이 그중에서 고르도록 요청할 수 있습니다. 서수형 질문을 사용하면 단일 레이블을 고르는 대신 결과를 척도 위에 배치할 수 있습니다. 이는 요청이나 레코드가 추가 처리 전에 분류되어야 하는 라우팅이나 트리아지 같은 워크플로와, 상태를 조건에 대해 확인해야 하는 스크리닝 단계에 적합합니다. 또한 파싱해야 하는 텍스트 대신 다운스트림 코드가 동작할 수 있는 간결하고 타입이 지정된 답변을 원하는 모든 파이프라인에도 맞습니다.

이 모델은 모델 id "baseten/elephant-1:free"를 사용하여 api14의 OpenAI 호환 API를 통해 호출합니다. API가 OpenAI 호환이므로 일반적인 chat completions 형태로 요청을 보내고, 메시지 콘텐츠에 상태와 타입이 지정된 질문들을 넣으며, 응답에서 결정을 읽습니다. 이 모델은 텍스트 입력을 받고 결정을 반환하므로, 프롬프트를 상태와 답변받고자 하는 질문에 집중시키십시오. 지원되는 파라미터가 나열되어 있지 않으므로, 모델 id와 메시지를 보내고 동작을 바꾸기 위해 추가 요청 파라미터에 의존하지 마십시오.

컨텍스트 제한을 염두에 두십시오. 16,384 토큰은 상태와 질문들을 합친 범위를 포괄하므로, 매우 큰 문서는 보내기 전에 잘라내거나 분할해야 합니다. 14,745 토큰의 출력 상한은 결정을 내리기에는 넉넉하지만, 답변 자체는 설명이 아니라 결정이므로, 장문의 추론, 요약 또는 개방형 생성이 필요하다면 일반 텍스트 모델이 더 적합할 수 있습니다. Elephant 1은 주어진 상태에 대해 타입이 지정된 질문에 답하는 것이 작업이고 그 결과를 결정으로 원할 때 올바른 선택입니다.