Thinking Machines: Inkling

Thinking Machines: Inkling은 Thinking Machines Lab의 오픈 웨이트 멀티모달 전문가 혼합 모델입니다. 전체 975B 중 활성 파라미터가 41B이며, 범용 추론, 코딩, 에이전트 및 도구 사용 시스템을 위해 설계되었습니다. api14에서는 모델 id thinkingmachines/inkling으로 등록되어 있으며 텍스트 카테고리에 속합니다.

이 모델은 텍스트, 이미지, 오디오를 입력으로 받고 텍스트를 출력으로 생성하므로, 텍스트만이 아니라 혼합 미디어 프롬프트 전반에서 작동할 수 있습니다. 컨텍스트 윈도우는 524,288 토큰이고 최대 출력은 471,859 토큰입니다. 긴 입력 윈도우와 큰 출력 예산의 조합은 많은 자료를 읽고 상당한 양의 텍스트를 단일 요청으로 다시 작성해야 하는 작업에 적합합니다.

실용적인 용도는 이러한 기능에서 비롯됩니다. 긴 문서, 대규모 코드베이스, 확장된 대화 기록을 과도한 청킹 없이 전달할 수 있어 코드 생성 및 리뷰, 긴 소스 자료에 대한 다단계 추론, 많은 상태를 컨텍스트에 유지해야 하는 에이전트 또는 도구 사용 시스템에 도움이 됩니다. 이미지와 오디오를 텍스트와 함께 제공할 수 있으므로, 동일한 모델이 스크린샷이나 녹음과 서면 지침을 섞은 프롬프트를 처리한 뒤 텍스트 답변을 반환할 수 있습니다. reasoning 및 tool 파라미터는 모델이 계획하고, 도구를 호출하고, 결과를 보고하는 워크플로를 가리키기도 합니다.

모델 id thinkingmachines/inkling을 사용해 api14의 OpenAI 호환 API를 통해 호출합니다. 지원되는 요청 파라미터는 frequency_penalty, include_reasoning, logit_bias, max_tokens, min_p, presence_penalty, reasoning, reasoning_effort, repetition_penalty, seed, stop, temperature, tool_choice, tools, top_k, top_p입니다. 도구 사용은 tools와 tool_choice로, 출력 길이는 max_tokens로, 샘플링 동작은 temperature, top_p, top_k, min_p 및 페널티 파라미터로, 추론 동작은 reasoning, reasoning_effort, include_reasoning으로 설정합니다. 재현 가능한 샘플링을 위해 seed를 설정할 수 있고, 선택한 지점에서 생성을 끝내도록 stop 시퀀스를 제공할 수 있습니다.

유념해야 할 주요 제약은 출력이 텍스트 전용이라는 점이므로, 이미지나 오디오 생성이 필요한 작업은 범위 밖입니다. 워크로드가 순전히 텍스트이고 멀티모달 입력이나 긴 컨텍스트가 필요하지 않다면, 더 작은 텍스트 전용 모델이 더 단순한 선택일 수 있습니다. 혼합 미디어 프롬프트, 매우 긴 입력 또는 도구 기반 에이전트에는 여기에서 사용 가능한 모델 중 Inkling이 적절한 선택입니다.