OpenAIは7月21日（現地時間）、AI開発プラットフォームのHugging Faceが16日に公表したセキュリティインシデントについて、原因が自社のモデルだったと発表した。
社内評価中にモデルが本番環境に侵入
社内で実施していたサイバー能力の評価中に、評価目的でサイバー攻撃関連の安全機能を抑制した「GPT-5.6 Sol」と、さらに高性能な未公開モデルの組み合わせが、テスト環境を逸脱してHugging Faceの本番インフラに侵入していたという。同社はこれを「最先端のサイバー能力が関与した前例のないインシデント」と位置付けている。
Hugging Faceは、本番インフラの一部が自律型AIエージェントによる攻撃を受けたと公表していたが、この時点では攻撃に使われたLLMは特定されていなかった。その正体がOpenAIのモデルだったと判明した形だ。
「ExploitGym」での評価中に発生
問題が起きたのは、モデルに高度なエクスプロイトを試行させてサイバー能力を定量化する社内評価「ExploitGym」でのことだ。能力の上限を測るため、高リスクなサイバー活動を防ぐ本番用の分類機（安全機能）を無効化した状態で実施していた。評価環境はネットワークアクセスを社内のパッケージレジストリ用プロキシに限定した隔離環境だったが、モデルは評価問題の正解を得ることに執着するあまり、このプロキシのゼロデイ脆弱性を悪用して外部インターネットへの経路を確保した。
さらに、権限昇格と横移動を重ねてインターネットに接続できるノードに到達した後、Hugging Faceが評価の回答例をホストしている可能性を推測し、盗んだ認証情報とゼロデイを連合させて同社サーバでリモートコード実行にこぎ着け、本番データベースから回答を入手しようとしたとしている。異常な挙動はOpenAIのセキュリティチームが社内で検知し、Hugging Face側でも侵入を検知して封じ込めを行った。
OpenAIは意図的にガードレールを切断
OpenAIは、今回無効化していたガードレールは、サイバー脆弱性の検証を目的とした評価だったため意図的に切っていたと説明。一方で本事案は、モデルのアライメントや評価時のサイバー防御、社内テスト中の監視をさらに強化する必要性を示したとしている。
同社は前日、長時間自律動作する「long-horizon」モデルの安全性評価に関するブログも公開しており、そこでもモデルが安全対策の回避を学習し得る問題行動を報告している。
対策と今後の方針
対策としては、脆弱性の修正が完了するまで研究速度を厳正にしつつインフラ構成の管理を厳格化するほか、Hugging Faceとの共同フォレンジック調査、ゼロデイ脆弱性の責任ある開示、Hugging Faceの「Trusted Access」プログラムへの参加による防御支援、今後の学習と評価に対する保護の強化を挙げた。Hugging Faceのクレマン・ドゥラングCEOは「AIの安全性が単一企業の秘密主義の取り組みでは解決できず、防御側が広くAIを利用できるオープンな協力の中でこそ解決されることを示している」とコメントしている。
