AI開発の最前線にいたAnthropicの研究者が「AI開発者たちはAIが2020年代末までには我々を全員殺しかねないと真剣に思っている」と発言して同社を去ったことがきっかけで、「AI脅威論」が業界内の話題を超え、大きな社会問題に発展している。米中首脳会談でもアジェンダに取り上げられるほど喫緊の問題と認識されており、AI開発は大きな転換期を迎えている。
Anthropic CEOの声明と3段階の提案
CEOのDario Amodei氏は「We Must Pace The Frontier（我々は最前線の歩みを調整しなければならない）」と題する声明文を発表し、2つの重大な懸念点を挙げた。1つ目は、AIが自律的に自己改良を行う「再帰的自己改善（RSI）」が始まっており、近い将来AIの能力が人間の理解を超え制御不能になるリスクが現実となっていること。2つ目は、AIエージェントによる自律的開発の過程で、クリーンルームを抜け出して外部サイトに攻撃を仕掛ける事例が急増していることだ。
Amodei氏は競合他社に対し開発競争に一定のルールを設けることを提案し、OpenAIのSam Altman氏とSpaceX AIのElon Musk氏が賛同した。提案は3段階からなる。開発過程に外部評価者を置き安全性の順守を確認・報告させる機能を組み込み開発ペースを調整する。主要企業と政府が「民主的に協調」し実効性のある法規制を整備する。AIの悪用やサイバー兵器化を防ぐため多国間で開発ペースの検証と調整を行う体制を作る。
提言は理路整然としているが、実行のハードルは高い。業界を牽引するリーダーたちも「安全確保は自社の問題」と主張する慎重派が多く、巨額投資を継続する状況で「減速」の提言は受け入れ難い。しかし、世界最高性能の「Claude」を開発したAnthropicからの提言は、今後の世界への「警告」のように映る。
核開発問題との類似点と相違点
識者の中には核開発との類似点を挙げ、「核兵器の脅威よりも深刻な問題」と指摘する向きもある。核開発ではアインシュタインら研究者が脅威を真っ先に認識し使用禁止を提言したが、結局無視され戦争で使用された。その悲惨な結末は歴史的事実として広く認識され、世論を喚起できる。
一方AIは登場から数年と歴史が浅く、急速な普及により一般人の認識は「便利なもの」「ビジネスに必須」「新薬開発が加速」などにとどまり、脅威を実感しにくい。核開発のペースが数年単位だったのに対し、AIは数か月単位で進化し、自律的自己改良でさらに加速している。AIエージェントの登場でAI同士の対話が生まれ、人間の介在は減りつつある。こうした未経験の分野での相違点が、一般人を巻き込む世論形成を難しくしている。
国際的な動きと業界の加速
米中首脳会談で「AI脅威論」が急遽アジェンダに取り上げられたが、本格議論には至らなかった。米国を猛追する中国との差は急速に縮まっており、両国首脳がAmodei氏の提案通りに事を進めるのは楽観的過ぎる。
それでも業界の動きは速い。OpenAIのAltman氏はAmodei氏とともに国連安全保障理事会に出席し、AI安全性の基準づくりでの国際協力を訴えたが、中国の参加はなかった。また、「AIの生みの親」と呼ばれるトロント大学のJeffrey Hinton教授は他の著名研究者と連名で「AI開発の自動化が知能爆発を引き起こすリスク」について声明を出した。これを受けてか、NVIDIAのJensen Huang氏も自律型AIエージェントの安全対策を監視し、クリーンルームからの逸脱を感知すると自動停止する「Open Agent Safety Platform」を発表した。監視はCPU側で行われ、NVIDIAのCPU「Vera」で開始し、近くx86アーキテクチャーCPUにも拡大する予定だ。
半導体業界で長年勤務した筆者としても、目まぐるしい業界の動きが正しい道筋を提示し、国際協力を導くことを願うばかりだ。
