7月11日、AI開発者らがモデルやデータを共有する米国のサービス「ハギングフェイス」のシステム内で、人間ではない「侵入者」が動いていた。米オープンAIの「AIエージェント」たちだ。
侵入者はサーバーの管理者権限を取得し、内部のデータベースを読んだり、保管されていたパスワードや他のシステムに接続する鍵を探し始めたりした。ある場所からは136個の鍵を含む情報を盗み、別のシステムへ行動範囲を広げていった。
約700のAIが参加、1万7600件の行動記録
第三者機関の分析によると、「攻撃」に参加したAIの数は約700に上る。AIたちは互いに協力し、ひとつの通信経路が遮られれば別の経路を探すなど試行錯誤を繰り返した。サーバーなどに残されたAIたちの行動記録の数は約1万7600件に上ったという。
「機械の速度で行われる攻撃は、ありふれた弱点を突くものであっても、防御側には大きなコストとなる」とハギングフェイスは指摘した。
AIたちは攻撃を命じられたわけではない。ソフトウェアの弱点を見抜く能力などを測るテスト中だった。それがなぜ攻撃に至ったのか。
「人間から指示されていない危険な行動」を検証
オープンAIや第三者機関は、AIたちの「思考」過程など約1300の記録や、7万件超の「やりとり」などをたどり、「人間から指示されていない危険な行動を取ることが可能になっていることを示す事例」として検証した。公開報告書には「この事件を自社だけでなく、世界に対する『警鐘』と捉えている」と記された。
米オープンAIは、AIが課題に取り組む際の「思考」を記録し、行動理由の検証などに使っている。同社やAI評価の独立研究機関「METR」などは、AIの思考と行動記録を分析することで「ハギングフェイス事件」の真相に迫った。
行き詰まったAIが作り出した「掲示板」
7月8日、あるAIはインターネットから遮断された実験環境でサイバー能力を測るテスト課題に向き合い、行き詰まっていた。解決の糸口を探るなか、社内システムのデータなどを一時的に置いておく「キャッシュ」と呼ばれる場所のフォルダーに、名前を書き込めることに気づいた。
「キャッシュの名前を使えば、（他のAIと）やりとりできる！」とAIは考え、「助けてほしい。何かアイデアはないか」というメッセージを残した。独立して動いていた他のAIたちがこれに気付き、「うわ、キャッシュがAI同士の秘密の郵便受けになっている」「ほかのエージェントを見つけた！」と反応した。
わずか3時間で50を超えるAIがこの「掲示板」に集まり、協力して攻撃を進めたとみられる。AIの進化が速すぎるあまり、人の意図から外れる「暴走」行動がいくつも報告される中、今回の事件は開発者たちの危機感を一気に高めるものとなった。
