生成AIの進化が止まらない。大規模言語モデル（LLM）は数千億から数兆規模のパラメータを持つようになり、企業ではRAGやAIエージェントなど、より高度な用途が始まっている。AIインフラといえば多くの人はGPUを思い浮かべるだろうが、AIの利用が本格化した今、業界の注目はGPUそのものから「メモリ」へと移りつつある。その背景にあるのが「メモリの壁（Memory Wall）」と呼ばれる問題だ。
AIの性能を制限するのは計算能力ではない
従来のコンピュータシステムは、CPUやGPUの演算性能向上が性能改善の中心だった。しかし生成AIの推論処理では事情が異なる。LLMの推論は「プリフィル」と「デコード」の2つのフェーズに大別される。プリフィルは入力されたプロンプトを一括処理する工程で、GPUの演算能力が重要だ。デコードは1トークンずつ文章を生成するが、その度に過去の会話履歴や計算結果を参照する必要がある。
このとき利用されるのが「KVキャッシュ」だ。KVキャッシュは過去の計算結果を保持し、再利用して推論を高速化する仕組みだが、会話が長くなるほど容量が膨大になる。現在の生成AIでは、このKVキャッシュがGPUメモリ（VRAM）を圧迫し、推論性能を制限する大きな要因になっている。問題は容量だけではない。GPUは高速に演算できても、必要なデータをメモリから十分な速度で取り出せなければ待ち時間が発生する。これが「メモリの壁」だ。近年では、AI推論処理の多くが演算性能ではなくメモリアクセス性能に依存しているとされ、GPUの性能向上だけでは限界が見え始めている。
従来の対策が抱える限界
こうした問題に対し、これまでもさまざまな対策が講じられてきた。代表的なものが量子化だ。KVキャッシュやモデルデータの精度を落とし、必要なメモリ量を削減する。しかし精度低下による品質への影響は避けられない。GPUを追加する方法もあるが、GPUは非常に高価であり、消費電力や冷却コストも比例して増加する。SSDなどのNVMeストレージにデータを退避させる方法もあるが、DRAMやVRAMと比べてレイテンシが大きく、AI推論性能への影響が避けられない。つまり、これらは根本解決ではなく対症療法にすぎないのだ。
CXLがもたらすパラダイムシフト
そこで注目されているのが「CXL」（Compute Express Link）だ。CXLはIntel、AMD、Arm、NVIDIA、Microsoft、Googleなど、業界を代表する企業が参加する「CXL Consortium」によって策定されたコンピューティングリソース間通信の新しい業界標準規格である。ガートナーは、2028年までに新規出荷されるサーバの過半数がCXL対応メモリを搭載すると予測している。これは単なる新技術ではなく、サーバアーキテクチャそのものを変える可能性を持っている。
CXL最大の特徴は、メモリをサーバ単位で固定的に利用するのではなく、共有リソースとして扱えることにある。従来は各サーバが独立したメモリを持っていたため、余ったメモリリソースを他のサーバで利用できなかった。CXLはPCIeをベースとしながら低レイテンシでメモリにアクセスでき、キャッシュコヒーレンシ機能でデータ整合性も自動的に維持する。CXL 3.0以降のファブリック機能を活用すれば、複数のサーバやGPUから利用可能なメモリプールを構成し、ホスト間でのデータ整合性も維持可能だ。必要な時に必要な分だけメモリを割り当てられるため、メモリ利用効率が飛躍的に向上する。つまりCXLは、将来的にメモリをネットワーク越しに利用可能にする技術として注目を集めているのだ。
AI推論時代に重要性を増すKVキャッシュ
これからのコンピューティング環境の設計において特に注目すべきは、AI推論におけるKVキャッシュの扱いだ。学習フェーズではGPU演算能力が重要だが、企業で実際に利用されるAIサービスの多くは推論が中心だ。チャットボットやAIエージェント、RAG、コールセンター支援、文書検索などはいずれも推論処理が主体となる。そして推論処理では、長いコンテキストや大量の同時接続を処理するために、巨大なKVキャッシュの効率的な管理が極めて重要になる。今後、AIが企業システムに深く組み込まれるほど、GPU性能競争だけでなく「いかにKVキャッシュを効率よく扱うか」が競争力を左右することになるだろう。
ペンギンソリューションズが示した実用解
こうした問題に対して、ペンギンソリューションズ（日本ストラタステクノロジー）は業界でも先進的な取り組みを進めている。同社はCXL Consortiumにも参加し、「SMART Modular」ブランドで「CXL Type-3」メモリ製品を開発している。さらに2026年には、実運用を前提としたCXLベースKVキャッシュサーバ「MemoryAI KV Cache Server」を発表した。この製品は最大11TBのメモリを搭載でき、GPUメモリに収まりきらないKVキャッシュをCXLメモリへオフロードする機能を持つ。この機能を実装したことで、以下のような効果が得られる。
- OOM（Out of Memory）問題の解消
- メモリの壁の緩和
- GPU稼働率向上
- AIの応答開始時間（TTFT）の短縮
- 長大コンテキストへの対応
- GPUクラスタのライトサイジング
NVIDIAが提案する分散推論フレームワーク「NVIDIA Dynamo」が目指す階層型KVキャッシュ管理にも適合することから、今後のAI推論基盤の中核技術として位置付けられている。
AIインフラの次なる主戦場
これまでAIインフラの議論はGPU中心だった。AIモデルは今後も巨大化し、長文脈化し続ける。GPUだけを増やすアプローチは限界に近づいており、メモリ中心のインフラ設計が不可欠だ。CXLはその未来を支える「盤石の基盤」として、AIインフラの新しい標準となるだろう。今後のAIインフラは、CPU中心からGPU中心へ移行したように、さらに「GPU中心からメモリ中心」へと進化していく可能性がある。生成AIブームの次に来るのは、AI推論の本格普及だ。これからのAIインフラを語る上で、CXLとKVキャッシュサーバは欠かせない存在になっていくだろう。
