Google Cloudが世界のIT部門リーダー1402人を対象に実施した調査で、AIエージェントを本番環境で運用する際のインフラ実態が明らかになった。その結果、83%の組織が「本番運用レベルのAIエージェントを動かすには、ITインフラのアップグレードが必要」と回答した。従来のITインフラは自律的に動作するエージェントを想定して設計されておらず、実験導入から本番運用に移行する段階で、大多数の企業がインフラの制約に直面している。
コストを押し上げる「推論税」の実態
調査によると、62%のリーダーがAIの推論に伴う「推論税」がコスト増に直結していると実感している。推論税の内訳は、データの外部転送（egress）、あふれ出るストレージ、遊休状態の専用ハードウェアにかかる費用だ。また、「運用の複雑さ」を隠れたコストとして挙げるリーダーは81%に上った。Google Cloudは、コストがかさむ要因の一つとして、AIエージェントをクラウドで常時稼働させ、推論を止めずに動かし続ける構造を挙げている。
負荷を「手元」に移して変動コストを抑制
こうしたコストを抑制するための一つのアイデアが、AIエージェントのエッジへの組み込みだ。同調査では、AIのエッジ配備は「重要」と回答する組織が90%に上り、72%の組織が「非常に重要」と答えた。スマートフォンやIoT機器、現場のローカルサーバなどで最適化したモデルを動かせば、計算の負荷がクラウドから「手元」に移る。これにより、処理量に応じて増えるトークンあたりの変動コストを大幅に抑えられるという。AIのエッジ配備は、遅延の短縮や通信が途切れた際の業務継続にも有効だと、同社は指摘する。
Google Cloudは「コスト効率を保つには、計算の負荷をどこで処理するかの見直しが必要だ」と指摘する。なお、本稿はGoogle Cloudが実施した調査「2026 State of infrastructure in the agentic AI era」を基にしたものだ。同調査は、世界のIT部門のリーダー1402人を対象に、AIエージェントを本番環境で運用するためのインフラの実態を尋ねており、年次調査の2回目に当たる。
関連する知見：本番環境でのAI失敗率と内製化の誤解
別の調査では、本番環境でのAIリクエストの約5%が失敗している実態が明らかになっている。また、Gartnerの調査によると、企業の54.5%が内製化に踏み切った目的として「コスト削減」を挙げているが、同社は内製化をコスト削減策として位置付けるべきではないと提言している。
