Thinking Machines: Inkling Small

Thinking Machines: Inkling Small은 Thinking Machines Lab의 오픈 가중치 멀티모달 전문가 혼합(mixture-of-experts) 모델입니다. 전체 276B 중 활성 파라미터는 12B이며, Inkling 제품군에서 더 작고 더 효율적인 구성원으로 자리매김합니다. 제공자 출시일은 2026-07-30입니다. 가중치가 공개되어 있으므로 모델을 검사하거나 자체 호스팅하거나 미세 조정해야 하는 팀은 그럴 수 있는 선택지가 있고, 인프라를 직접 운영하고 싶지 않은 사람들을 위해 api14의 호스팅 엔드포인트도 사용할 수 있습니다.

이 모델은 텍스트, 이미지, 오디오 입력을 받아 텍스트를 반환합니다. 컨텍스트 윈도우는 524288 토큰이고 최대 출력은 262144 토큰이므로, 매우 큰 문서, 긴 녹음 또는 이미지 세트를 프롬프트와 함께 입력하고도 단일 호출에서 긴 응답을 생성할 수 있습니다. 전문가 혼합 설계는 토큰당 전체 파라미터 중 일부만 활성화된다는 뜻이며, 이것이 이 정도 크기의 모델을 합리적인 지연 시간과 처리량으로 서빙할 수 있는 주된 이유입니다. 추론 동작은 API를 통해 노출되므로, 최종 답변 전에 내부 숙고를 얼마나 할지 결정할 수 있습니다.

이러한 기능들은 상당히 특정한 용도 집합을 가리킵니다. 긴 컨텍스트 작업이 확실한 적합처입니다. 더 작은 윈도우에는 들어가지 않을 대규모 코드베이스, 계약서 세트, 연구 코퍼스 또는 지원 티켓 이력을 요약하거나 질의하는 작업입니다. 멀티모달 입력은 형식이 섞인 작업에 유용합니다. 예를 들어 이미지가 포함된 스캔 문서에서 구조화된 데이터를 추출하거나, 오디오를 전사한 뒤 그 위에서 추론하거나, 스크린샷과 서면 브리프를 함께 두고 질문에 답하는 작업입니다. 도구 호출과 추론 지원은 모델이 어떤 함수를 호출할지 결정한 뒤 그 결과를 설명해야 하는 에이전트 스타일 워크플로에 적합합니다.

api14의 OpenAI 호환 API를 통해 모델 id "thinkingmachines/inkling-small"로 호출합니다. 지원되는 요청 파라미터는 frequency_penalty, include_reasoning, logit_bias, max_tokens, min_p, presence_penalty, reasoning, reasoning_effort, repetition_penalty, seed, stop, temperature, tool_choice, tools, top_k, top_p입니다. 이미 OpenAI chat completions 형태에 맞춰 코드를 작성해 두었다면, 이 모델로 전환하는 것은 대부분 모델 문자열을 바꾸는 일이며, 추론 출력을 원한다면 include_reasoning 또는 reasoning_effort를 설정하면 됩니다.

텍스트 출력 모델이므로 생성 이미지, 오디오 또는 비디오가 필요한 것은 여기서 범위 밖입니다. 262144 토큰 출력 상한은 넉넉하지만 여전히 유한하며, 이는 매우 긴 생성 작업에서 중요합니다. 워크로드가 작고 지연 시간에 민감하며 순수하게 텍스트라면 더 가벼운 모델이 실행 비용이 더 저렴할 수 있고, 텍스트를 넘어서는 출력 모달리티가 필요하다면 다른 모델이 필요합니다.