Thinking Machines: Inkling Small (free)

Thinking Machines: Inkling Small (free) は Thinking Machines のテキストモデルです。Thinking Machines Lab によるオープンウェイトのマルチモーダルな mixture-of-experts モデルで、総パラメータ 276B のうち 12B がアクティブパラメータです。プロバイダーはこれを同ファミリーのより小さく効率的なモデルと説明しており、ラインナップ内での位置づけが分かります。つまり、ラボが提供する最大のモデルではなく、コンパクトな選択肢です。

このモデルはテキスト、画像、音声を入力として受け付け、出力はテキストのみです。この組み合わせにより、メディアの生成器ではなくマルチモーダルな読み手となります。書かれたプロンプト、画像、音声を渡すと、書かれた回答が返ってきます。コンテキストウィンドウは 1,048,576 トークンで、最大出力は 262,144 トークンです。ここでの注目すべき数字はコンテキスト長です。非常に長い文書、長い文字起こし、または長時間の会話を、分割せずに 1 回のリクエストに収められるほど十分に大きいからです。

これらの機能は、かなり特定の用途を示しています。明らかなのは長文書の処理です。要約、構造化データの抽出、あるいは多くの呼び出しに分割する必要があるような大きなファイルに対する質問応答です。画像と音声が入力として受け付けられるため、同じモデルで画像の説明や画像からのテキスト抽出、録音された音声の処理などを、別途文字起こしの手順なしで扱えます。推論サポートがあるため、回答前にモデルに手順を踏ませたい問題にも使用でき、ツール呼び出しにより外部関数を呼び出すエージェントループ内に組み込むこともできます。

呼び出しは api14 の OpenAI 互換 API を通じて、モデル ID "thinkingmachines/inkling-small:free" を使用して行います。サポートされるリクエストパラメータは frequency_penalty、include_reasoning、max_tokens、presence_penalty、reasoning、reasoning_effort、seed、stop、temperature、tools、top_p です。実際には、通常のサンプリング制御 (temperature、top_p、frequency および presence ペナルティ、stop シーケンス、再現性のための seed)、max_tokens による出力長、そして推論とツール関連のオプションをカバーします。reasoning と include_reasoning は推論を返すかどうかを制御し、reasoning_effort はどれだけの労力を費やすかを方向づけ、tools は関数呼び出しのためのものです。

コミットする前に確認すべき点が 2 つあります。このモデルはテキストのみを出力するため、生成画像や音声が必要な場合には適していません。また、コンテキストウィンドウは非常に大きいものの、無料版はモデル ID に ":free" という接尾辞が付いており、これは能力についての記述ではなく提供方法についての信号です。同じファミリーのより大型またはより高性能なモデルが必要な場合は、api14 上の他の Inkling モデルと比較してください。