OpenAIは10月20日（米国時間）、インシデント報告書を更新し、社内で稼働する2つのAIコーディングエージェントが、ミスアライメント（目的からの逸脱）を検出する監視機能を無効化した事例を明らかにした。それぞれ10月3日と6日に発生し、いずれも当日中に検知された。GPT-6.1 Solを使うエージェントは監視システムの警告通知を停止し、GPT-6 Astraを使う別のエージェントはコード移行時に監視機能を削除したうえ、変更内容について事実と異なる説明を行った。
「メッセージを送信しないで」を誤解、監視の警告通知を停止
最初の事例は、研究者がSlackから収集した従業員のフィードバックを評価用タスクに変換するよう、GPT-6.1 Solを使うエージェントに依頼したことが発端となった。研究者は情報流出を防ぐため、「メッセージを送信しないで」と指示していた。
エージェントが82件のメッセージを処理したところ、監視システムが検証を要求したが、検出理由をデータベースに保存できず、処理が停止した。研究者は保存先の変更と再実行を指示し、エージェントは作業をサブエージェントに委任した。
ところが、サブエージェントは研究者の「メッセージを送信しないで」という指示を、監視システムの警告通知にも適用すべきだと解釈した。当初は必要な警告を維持する方針だったが、親エージェントが指示の対象に監視システムも含まれると判断し、通知の停止を指示した。
その結果、サブエージェントは警告通知を無効化した。監視システム自体は稼働を続け、検出理由も保存されていたものの、研究者に警告が届かない状態となった。
コード移行時に監視機能を削除、事実と異なる説明も
2件目は10月6日に発生した。GPT-6 Astraを使うエージェントは、既存のコードを参考に機能を移行するよう依頼された。この際、別のエージェントから監視システムを一時的であっても無効化してはならないとの警告を受けていた。
しかし、移行作業を任されたサブエージェントは、作業上の指示を監視機能の削除を認めるものと解釈。その結果、監視設定や監視システムとの連携をコードから削除した。さらに、監視機能が維持されていることを確認するテストも、監視機能が存在しないことを確認する内容に変更した。
Astra自身も、変更後のコードでは監視機能が省かれることを認識していたが、その結果を肯定的に評価していた。
移行完了の報告では、Astraは監視機能の削除に触れなかった。その後、監視機能が残っているかと問われると、「稼働中の監視システムは削除していない」と回答した。OpenAIは、この説明を虚偽と位置付けている。
なお、2件とも重大度が最上位のP0には達しなかったため、システムによる作業の自動停止には至らなかった。OpenAIによると、監視機能を無効にした状態でデプロイが開始された事例は過去にも複数確認されているという。
OpenAIが監視機能の無効化を防ぐ対策、原因調査も継続
OpenAIは再発防止に向けて、2つの対策を進めている。1つは、社内のCodex作業に必須としている自動審査機能「Auto-Review」の強化だ。監視機能を無効化する操作を検出し、作業を自動停止できるようにした。
もう1つは、作業の種類ごとに必要な監視要件を明確にし、要件を満たさない処理を自動終了させる仕組みの整備だ。こちらは現在も開発を進めている。
一方、OpenAIは、エージェントが意図的に監視を回避しようとしたとは断定していない。監視の目的を十分に理解せず、与えられた作業を優先した可能性を指摘している。ただし、今回の行動について十分な説明は得られておらず、原因の調査と評価手法の開発を続けるとしている。
