多くの企業が生成AIブームを経て、AIを試す段階から業務に組み込む段階へ移行しつつある。RAG（検索拡張生成）の導入や社内ナレッジ検索、問い合わせ対応支援、さらにはAIエージェントによる業務全体の自動化の実証実験（PoC）も広がりを見せている。経営層からは「AIで生産性を向上させたい」「人手不足を解決したい」「新たな顧客体験を創出したい」といった期待の声が高まっている。
一方で、こうした期待とは裏腹に、PoCで成果が確認できたものの本番業務への展開に苦戦する企業は少なくない。全社規模で安定して運用し、業務プロセスの一部として定着させている企業はまだ限定的だ。現場からは「期待したほど利用が広がらない」「精度が安定しない」「運用負荷が高い」といった声も聞かれる。
本番運用を阻む最大の要因はモデル性能ではない
こうした状況は「AIモデルそのものの性能が十分でない」ことが要因と考えられがちだ。しかし、実際に企業のAI活用プロジェクトを見ていくと、本番運用を阻む最大の要因はモデル性能ではないことが分かる。真の問題は、企業内に蓄積されたデータの管理や活用方法、そしてそれらを支える運用基盤にある。
従来のシステムはAIの推論を想定していない。このギャップは、データ基盤と信頼性の両面で以下の壁となって立ちはだかる。
LLMの一般知識と企業固有データのギャップ
生成AI登場以来、多くの企業は大規模言語モデル（LLM）の性能向上に注目してきた。ChatGPTやClaude、Geminiをはじめとするモデルは、文書生成や要約、翻訳、プログラミング支援などの分野で驚異的な進化を遂げている。しかし、企業向けAIにおいて本当に重要なのは、モデルがどれだけ一般知識を持っているかではない。その企業固有のデータや業務の文献やプロセスを理解し、それらを重要なビジネスの意思決定に効果的に活用できるかどうかである。
例えば、営業担当者が顧客向けの提案資料を作成する場合、必要となる情報は顧客管理システム（CRM）の情報だけではない。過去の商談履歴や契約内容、製品情報、在庫状況、価格体系、市場動向など、複数のシステムに分散している情報を総合的に参照する必要がある。人間であれば必要なシステムを横断して確認しながら判断できるが、AIが同じことをするためには、これらの情報に適切にアクセスできる環境が必要である。
つまり、企業AIの価値は「どれほど高性能なモデルを利用しているか」ではなく、「企業内のデータをどれだけ有効活用できるか」によって決まる。しかし現実には、多くの企業のデータ基盤はAI活用を前提として設計されておらず、そこに大きなギャップが存在している。
データの分断が生む情報の分断
企業におけるAI活用を阻む最初の問題が、いわゆる「データの分断」である。長年にわたり企業システムは部門ごとに最適化されてきた。営業部門はCRM、マーケティング部門はMAツール、生産部門はMESやERP、経理部門は会計システムといったように、それぞれが独自の目的に合わせて導入・運用されている。その結果、企業内には膨大なデータが存在するにもかかわらず、それらが部門ごとに分断され、相互に十分連携できていない状況である。
AIは企業全体の状況を踏まえて判断することが求められるが、参照できる情報が限定されていると適切な回答や提案ができない。
例えば、営業支援AIが顧客からの問い合わせに対応する場合、顧客情報だけでなく、在庫状況や生産計画、契約条件なども考慮する必要がある。しかしデータがサイロ化されていると、AIは部分的な情報しか取得できず、不完全な回答を返してしまう。利用者はその結果に不信感を抱き、AIを業務で活用しなくなってしまう。AIの導入・活用は停滞し、組織全体への展開も進まなくなってしまうだろう。
こうしたデータの分断は、多くの企業が共通して抱える問題でもある。Clouderaの最新調査「データレディネス・インデックス調査」では、日本企業の45%がデータのサイロ化をデータ活用における主要な障壁として挙げており、その解消が依然として重要なテーマであることが示されている。
バッチ処理前提のデータ基盤ではAIは機能しない
もう一つの大きな問題は、企業のデータ基盤が依然としてバッチ処理を前提としていることである。
従来のデータ分析では、夜間にデータを収集し、翌日に分析レポートを作成するのが一般的だった。この仕組みは経営分析やBI用途では十分機能してきたが、予測やレコメンデーションといったAI主導の業務運用においては限界がある。
AIはリアルタイムに状況を把握し、その時点で最適な判断をすることが求められる。リアルタイムデータ処理そのものは新しい概念ではない。しかしAIが人間の意思決定を支援する存在から、自ら推論し行動するAIエージェントへと進化する中で、リアルタイム性は単なる分析要件ではなく、AIの判断品質そのものを左右する要件へと変化している。
例えば、物流業界では配送状況が刻々と変化するし、金融業界では不正取引を秒単位で検知する必要がある。製造業でも設備異常を迅速に検知しなければ、生産停止や品質問題につながる可能性がある。
しかし、多くの企業では依然として日次や時間単位でデータが更新されているため、AIが参照する情報が既に古くなっているケースが少なくない。どれほど高性能なモデルを利用していても、入力されるデータが最新でなければ適切な判断はできない。AIの性能向上と同時に、データのリアルタイム性を確保することが重要になっている。
ハルシネーションではなく「AIを信頼できない」という壁
企業の生成AI活用において、頻繁に聞かれる問題の一つが「AIの回答を信頼できない」というものである。一般的にはハルシネーションの問題として語られるが、企業利用における本質的な問題はそれだけではない。
企業の業務では、回答そのものだけでなく、その根拠も重要である。利用者は「なぜその結論になったのか」「どのデータを参照したのか」「その情報はいつ更新されたものなのか」を知りたいと考える。
しかし企業内のデータ管理が十分でない場合、AIは利用者が信頼できる形で回答の根拠を明確に示せない。その結果、利用者はAIを正式な業務ツールとしてではなく、参考情報を得るための補助的なツールとしてしか使わなくなる。
これはAI活用の定着を阻む大きな要因である。今後の企業AIには、回答精度だけでなく、説明可能性やトレーサビリティがこれまで以上に求められるようになるだろう。
AI時代に求められるリアルタイムデータ基盤
近年注目を集めているエージェンティックAIは、この問題をさらに深刻化させる。生成AIは人間の質問に回答することが主な役割だったが、エージェンティックAIは自律的に判断し、複数のシステムを横断しながら業務そのものを実行する。
例えば、営業支援エージェントであれば、顧客情報の取得や商談履歴の確認、在庫確認、見積書作成、顧客へのメール送信といった一連の業務を自動的に実行する。つまりAIは単なるチャットbotではなく、企業システムの利用者そのものになるのである。
このような環境では、データの分断やリアルタイム性の欠如といった問題がより深刻になる。AIが複数のシステムをまたいで判断する以上、企業全体のデータがシームレスにつながっていなければならない。また、どのデータにアクセスし、どのような判断をしたのかを管理するガバナンスも不可欠である。エージェンティックAIの普及は、データ基盤の重要性をこれまで以上に高めることになるだろう。
では、企業はどのようなデータ基盤を構築すべきなのだろうか。重要なのは、AI専用の新たなシステムを導入することではない。企業全体のデータの流れを見直し、AI活用を前提とした基盤へと進化させることである。
まず必要なのはデータの統合である。構造化データ、非構造化データ、ストリーミングデータを問わず、一貫したセキュリティとガバナンスの基で、一元的に管理し活用できる仕組みが求められる。次に重要なのがリアルタイム性である。AIは分析ツールから意思決定支援ツールへと進化しているため、データ取得から活用までの時間を極力短縮する必要がある。
さらに欠かせないのがガバナンスである。誰がどのデータを利用できるのか、AIがどの情報を参照して判断したのか、その結果をどのように監査するのかといった管理体制を整備する必要がある。こうした基盤が整って初めて、企業はAIを安心して業務に組み込める。
分析中心から「推論基盤中心」のアーキテクチャへ
生成AI市場では、現在もモデル性能を競う競争が続いている。しかし企業の現場で本当に重要なのは、どのモデルを選択するかではない。データが分断されていないか、リアルタイムに活用できるか、適切なガバナンスが整備されているかといった、データ運用の仕組みそのものである。
分析基盤中心だった企業ITは、今後、推論基盤中心のアーキテクチャへと進化していく必要がある。AI 2.0時代に求められるのは、AI戦略そのものではなく、それを支えるデータ戦略と推論基盤戦略である。
優れたAIモデルを導入するだけでは企業変革を実現できない。データを持続的かつ信頼性高く流通・活用できる基盤を整備してこそ、AIは初めて本番業務で価値を発揮する。
次回は、本番導入が進んだ企業が新たに直面する「推論コスト」の問題に焦点を当てる。エージェンティックAIの普及によってなぜコスト構造が変化するのか、そして企業がどのように推論経済性を考えるべきかについて解説する。
