調査会社のGartnerは2026年8月17日（現地時間）、AIエージェントが複数の手順をまとめてこなすワークフロー1件当たりにかかるAI推論コストが、2028年までに5倍以上に上昇すると発表した。推論コストとは、AIモデルが回答を導き出す処理にかかる費用を指す。推論コストの管理は、AIベンダーにとって最優先すべき課題になったと同社はみている。
AIモデル利用料金は低下、しかし総コストは上昇
Gartnerによると、AIモデルの利用料金（トークン単価）の低下が、より複雑なワークフローの実行を後押ししている。利用料金が低下したことで、以前は採算が取れなかった多段階の処理が実施されるようになったわけだ。一方で、AI製品の提供にかかる総コストが押し上げられている。一見逆説的な現象が起きているのはなぜか。また、AIにかかるコストの膨張に悩む企業が、ROI（費用対効果）を確保するための2つの方策とは。
「推論のパラドックス」の背景にある3つの潮流
Gartnerはこの状況を「Inference Paradox」（推論のパラドックス）と呼び、その背景として3つの潮流を挙げる。
基盤モデルのコスト構造の改善：基盤モデルのコスト効率は急速に改善している。
より高価なモデルの開発：AIの効率が高まった結果、より強力でより高価なモデルを開発できるようになった。これにより、価値の高い高度なAIアプリケーションが成り立つ。
ワークフローによるトークン消費量の増加：高度なAIワークフローは、単純なチャットbotとのやりとりよりもはるかに多くのトークンを使い、推論コスト全体を押し上げる。
これら3つの潮流が同時に働くことで、トークンのコスト効率は高まっているものの、その改善速度はAIの能力向上とそれに伴うコストの増加に追い付かないとGartnerはみている。
単純なチャットbotとAIエージェントの違い
推論のパラドックスがもたらす費用対効果の厳しさは、単純なチャットbotとAIエージェントの違いに表れる。Gartnerのウィル・ソマー氏（シニア ディレクター アナリスト）は「単純なチャットbotは問い合わせを読んで解釈し、確率的に妥当な答えを素早く返せばよい。だが、AIエージェントは絶えず推論し、交渉し、自らを問い直さなければならない」と述べる。
基本的なチャットbotとのやりとりと比べると、エージェンティックな推論モデルにタスクを振り向けた場合のプロバイダー側の推論コストは少なくとも5倍になるとGartnerは示す。タスクが複雑になるほど、その差はさらに大きくなるという。
高度なAIでROIを確保するための「2つの道」
Gartnerは、推論モデルのような高度なAIでROIを確保する道として次の2つを提示する。
基本的なモデルと比べて指数的に高いリターンを得る。
推論の階層化とルーティング、オーケストレーションを高度に最適化し、複雑なタスクをより費用効率の高い知能に振り分ける。
ソマー氏は「汎用的な自律的な知能に任せきりにすれば、最適化された製品エコシステムと比べて桁違いに大きく、制御の利かないコストを抱える」と警告する。
Gartnerは2026年3月にも、AIのコストに関する予測を公表している。1兆個のパラメータを持つLLM（大規模言語モデル）で推論を実行する際にAIベンダーが負担するコストは、2030年までに2025年比90％以上下がるという内容だ。ただし、AIベンダーが負担するコストの低下が、顧客企業が支払う利用料金低下に直結するわけではない。
同社は2026年3月に発表した予測で、「エージェンティックなモデルは標準的な生成AIのチャットbotに比べ、1タスク当たり5〜30倍のトークンを必要とする」とも指摘している。日常的で高頻度のタスクは小規模モデルやドメイン特化型の言語モデルに振り向け、大規模モデルによる高コストな推論は高い付加価値を生む複雑なタスクに限定すべきだとしている。
