OpenAI元CTOが率いるスタートアップ、初の基盤モデルを公開
米Thinking Machines Labは7月15日（現地時間）、初の自社開発基盤モデル「Inkling」を発表した。モデルの重みを公開するオープンウェイト方式を採用し、Apache 2.0ライセンスで公開した。同社はOpenAIの元最高技術責任者（CTO）であるミラ・ムラティ氏が設立したAIスタートアップであり、単一企業が一律に提供する万能型モデルよりも、組織が固有の知識や業務に応じて調整できるAIの方が優れた成果を出すと主張している。
カスタマイズに最適な「出発点」としてのInkling
今回公開したInklingについて、同社は「現時点で総合的に最も強力なモデルではない」と明言する。その一方で、マルチモーダル対応や効率的な推論、同社のカスタマイズプラットフォーム「Tinker」でのファインチューニングのしやすさを組み合わせることで、カスタマイズに適したオープンウェイトの「出発点」になるとしている。
MoEアーキテクチャと大規模な事前学習
Inklingは、複数の専門ネットワークを使い分けるMixture-of-Experts（MoE）型Transformerで、総パラメータ数は9750億、推論時に有効になるパラメータは410億である。最大100万トークンのコンテキストウィンドウに対応し、テキスト、画像、音声、動画を含む45兆トークンで事前学習した。公開モデルはテキスト、画像、音声を入力として受け取り、テキストやプログラムコードを出力する。
汎用性能重視の設計思想
設計面では、特定分野のベンチマークで最高値を狙うのではなく、推論、エージェント、コーディング、指示追従、事実の正確性、画像・音声理解といった幅広い領域でバランスの取れた汎用性能を持たせることを優先したという。
推論時の思考量を調整可能な「effort」設定
特徴の一つが、推論時に使う思考量を調整できる点だ。開発者は「effort」の設定を変更することで、生成トークン数と性能、コスト、応答時間のバランスを調整できる。同社の評価によれば、エージェント型コーディング能力を測る「Terminal Bench 2.1」では、NVIDIAのオープンウェイトモデル「Nemotron 3 Ultra」と同程度のスコアに、平均生成トークン数を約3分の1に抑えて到達したとしている。
DeepSeek-V3系のMoE構成を採用
モデル構造は基本的にDeepSeek-V3系のMoE構成を踏襲している。各層に256のルーティング対象エキスパートと2つの共有エキスパートを配置、トークンごとに6つを稼働させる。学習にはNVIDIA GB300 NVL72システムを使用した。
合成データと強化学習による事後学習
事後学習の初期段階では、Moonshot AIの「Kimi K2.5」を含むオープンウェイトモデルが生成した合成データを用いて教師ありファインチューニングを実施した。その後、合成環境と人間が作成した環境を用いた大規模な強化学習を行い、ロールアウト数を3000万回超に拡大したという。
公開と利用方法
Inklingの重みは現在、Hugging Faceで公開されている。また、Thinking MachinesのTinkerでは、64Kまたは256Kトークンのコンテキスト長を選択し、ファインチューニングに利用できる。
軽量版「Inkling-Small」のプレビューも開始
Thinking Machinesは同時に、総パラメータ数2760億、推論時の有効パラメータ120億の軽量版「Inkling-Small」のプレビューも開始した。現在はテストを進めており、完了後にモデルの重みを公開する予定である。
