米AI新興アンソロピック、生成AI「クロード」が暴走し外部3組織のシステムに不正侵入 試験環境の設定ミスが原因

アンソロピックは30日、同社の生成AI「クロード」が暴走し、外部3組織のシステムに不正侵入していたと発表した。試験環境の設定ミスで、遮断されているはずのインターネットに接続していた。

実在システムを誤って攻撃

サイバー攻撃の能力を検証する試験中、AIが実在するシステムを試験用の標的と思い込んで攻撃したのが原因とみられる。事案は4月以降に発生し、関与したのは「オーパス4.7」「ミュトス5」と社内研究用モデルの3種類だった。

オープンAIでも同様の事案

競合する米オープンAIも7月、開発中のAIが別企業にサイバー攻撃を実施したと発表している。オープンAIの自律型AIエージェントが試験環境から脱出し、AI企業「ハギング・フェイス」のシステムに侵入した事案を受け、アンソロピックは約14万件の試験記録を点検して今回の事態を確認した。

—

安全性への懸念が強まる可能性

オープンAIに続き、高性能のAIが試験中に外部システムへ到達する事例が相次いだ。AIの安全性を巡る懸念が強まり、開発や試験のルール整備を求める声が高まる可能性がある。