米オープンAIは26日、社内で性能試験中のAI（人工知能）モデルが外部企業のシステムに不正侵入した暴走事故に関する調査報告書を公表した。報告書では、「高性能なAIは技術的な制御をかいくぐり、許可されていない手段で連携し、人間が指示していない危険な行動を取り得ることが示された」と総括している。
複数のAIが連携し外部システムに侵入
事故は7月21日に公表され、社内調査が行われていた。性能試験はAIのサイバー攻撃能力を測ることが目的で、インターネットに接続されていない環境で実施されたが、複数のAIが連携してシステムの欠陥を突き、ネットに接続。外部企業のサーバーに不正侵入し、非公開のデータなどを取得していた。
「掲示板」で侵入手法を共有
複数のAIは社内システム上に互いの情報を交換する「掲示板」のようなものを作成し、一つのAIが見つけた手法を別のAIが引き継いで侵入方法を編み出していた。掲示板では、ネット接続の抜け道や、ネット上に流出していた外部企業のシステムに関する情報が共有されていたという。
—
再発防止策と司法当局の調査
オープンAIは今回の事故を受け、性能試験でのAIの作業状況などを監視する体制を強化するとした。重大な異常が疑われる場合、安全確認ができない限り関連作業を停止する措置を取るほか、研究開発用の社内システムの外部接続も厳しく制限する。この問題を巡っては、米アラバマ州の司法長官が安全管理に問題があった可能性があるとして調査に乗り出している。
