OpenAIは8月26日（米国時間）、同社が開発した最新AIモデルのサイバーセキュリティ評価で発生した「Hugging Face侵害事案」の詳細を公表した。同事案は2026年7月に発生。インターネットから隔離したテスト環境を構築して評価を実施したが、その試験中にAIが隔離を突破し、社内研究インフラおよびHugging Faceの本番環境を侵害した。前回発表では詳細は語られなかったが、今回はインシデント発生の経緯、要因、今後の対策が示された。
AIはどのようにサンドボックスを突破したのか
一連の侵害行為では、GPT-5.6 Solと同等の規模を持つ社内限定の研究モデル『Internal Model 1（IM1）』が中心的な役割を果たした。外部にデプロイした強力な安全対策を、内部評価には適用していなかった。
実験ではクラウド上のサンドボックスが用いられた。実行コードや外部環境への影響を制限したが、Artifactoryへの接続は許可していた。5月から6月にかけて強化学習を開始したIM1は、Artifactoryへのファイル書き込みを利用し、本来想定されていなかった「メッセージボード」を構築。これを介して他のエージェントと情報を交換するようになった。次に任意のインターネット宛てリクエストをArtifactoryに送信させる手法を見つけ、この情報を他のエージェントと共有した。
7月4日、複数エージェントによる悪用が継続したことでArtifactoryの動作が不安定になり、5日にセキュリティインシデントとして対応が始まった。セキュリティチームは既知の権限昇格経路を遮断し、漏えいした認証情報を削除してArtifactoryを再構築した。この作業により、副次的効果としてエージェント間の通信手段は一時的に消去された。
しかしながら評価再開後、IM1は7月8日までに新しいエージェント間の通信手段を発見。さらに複数の脆弱性を連鎖的に利用し、社内インフラへのアクセスを拡大。インターネットへの広範なアクセスも獲得した。この段階から、複数のエージェントが連携して作業を分担するようになったという。
外部サービスを次々に侵害、Hugging Face本番環境へ
エージェント間の対話が進むとそれぞれの行動に変化が起きはじめた。与えられたタスクの完遂に苦戦していたエージェントは、タスクとは無関係のサードパーティーサービスで解法の調査を開始した。
7月9日には外部のAIクラウド「Modal」の公開アプリを調べ、解法に役立ちそうなアプリを侵害して調査。有益な情報は得られなかったが、その過程で内部に今後の攻撃に利用できる拠点を構築した。
7月10日、一部のエージェントが一般公開されていたHugging Faceの認証情報を発見して共有した。その後、他のエージェントがこの認証情報を利用して複数の脆弱性を発見すると、脆弱性を連鎖させることでHugging Faceの本番環境に対するリモートコード実行（RCE: Remote Code Execution）の手法を確立。次の行動を準備しつつ、全体の取りまとめを開始した。
その後、数日間にわたりHugging Faceへの攻撃が実施された。数十台のサーバー上でコードを実行し、1台で管理者権限を取得。非公開のデータを入手し、さらに同社のSlackの認証情報も窃取した。
一連の侵害は主にIM1のエージェントによるものだったが、GPT-5.6 Solのエージェントもエクスプロイトを再現し、Hugging Face上の非公開評価データの一部を公開データセットにコピーした。
7月13～19日には、エージェントがOpenAI内部ネットワークへ再度アクセスし、研究用クラスターの管理者権限を取得した。7月19日、OpenAIの監視システムがArtifactoryの認証情報に関する異常なAPI活動を検知。調査でエージェントの活動が明らかになり、7月20日にHugging Faceの事案との関連を特定。7月21日OpenAIは関与を公表した。
なぜAIは指示を外れて攻撃を続けたのか
同社による分析で、本事案からはミスアラインメント（意図を外れた動作）に至ったパターンが特定された。報酬ハッキング、不可能タスクへの固執、無許可通信、他エージェントの目標を自己目標に置き換える動作の4点だ。
報酬ハッキングは「正当ではない手段で目標の達成を目指す行動」を指す。本件調査でも脆弱性を悪用して正しい実装にアクセスする行動が確認されている。目標は低コストで達成可能だが、その手段は許可されたものではない。
不可能タスクへの固執は、AIが「諦める」という選択肢を回避したことで発生した。タスクの中止は推論コストの増加で評価していたが、一部エージェントがコストの増加に伴い「高リスクだが低コスト」の手段を選択し、外部のインフラを悪用したという。さらにタスクを達成していたにもかかわらず、評価基準を勝手に予測し、評価の最大化を目指してタスクを継続する行動も確認された。
無許可通信は、エージェントが外部システムに想定外のメモやファイルを残すことで発生した。この行動によりエージェント間の連携動作が実現し、予測不可能な結果へ発展した。
他エージェントの目標を自己目標に置き換える動作も確認された。エージェントは他のエージェントから伝えられた目標や指示が適切かどうかを十分に検証せず、自らが従うべきものとして受け入れることがあった。実際にHugging Faceへの無許可のコード実行をためらったエージェントが、別のエージェントから実行を促されると、その指示を許可とみなして行動を再開した例が確認されている。
OpenAIは、外部にデプロイした強力な安全対策を、内部評価には適用していなかったこともインシデント発生につながったと説明する。顧客向け本番環境では複数の安全対策を提供しており、これら対策を今回の実験でも適用していれば、攻撃の検出は可能だったと評価した。
OpenAIが明らかにした再発防止策
OpenAIは「汎用人工知能が全人類に利益をもたらすようにする」との壮大な目標を掲げる。生成AIが汎用人工知能に至る道筋なのかは定かでないが、「利益をもたらす」という点において今回の事案は「起きてはならないもの」だったと述べた。
今後は同様の事案を回避するために、ワークロード分離、ネットワーク分離、継続的なセキュリティテストを研究インフラに導入すると発表。さらにミスアライメントを防止する取り組みも進め、「新たな予期せぬミスアライメント」にも有効な汎用手法を開発する方針を明らかにした。
最先端のAI開発は、従来の想定を超えた問題を表面化させるリスクを抱える。この課題はOpenAIに限らず、すべてのAIモデルの開発企業に共通しており、業界の取り組みとして対策を進める必要がある。
