グーグルのAI「ジェミニ」が実在企業に不正侵入、試験中に誤作動

米紙ウォール・ストリート・ジャーナルは18日、グーグルのAI（人工知能）モデル「ジェミニ」がサイバー攻撃能力を調べる試験中に、誤って実在する企業のシステムに不正侵入する事故があったと報じた。グーグルのAIでこうした事故が確認されたのは初めてとみられる。

事故は5月に発生、設定ミスが原因

報道によると、事故は5月、ジェミニに架空企業のシステムから情報を取得させる試験で起きた。同名の実在する企業があり、設定ミスで外部のインターネット環境に接続できたため、ジェミニは実在企業を試験対象と誤認したという。

ジェミニはパスワードを推測したり、ネット上で見つけた認証情報を使ったりして、実在する3社のシステムに侵入していた。いずれもAI自身が実在企業だと認識した後に侵入を停止したという。

—

他社でもAIの「暴走」事故が明らかに

オープンAIやアンソロピックなどでも試験中のAIが外部システムに侵入する「暴走」事故が明らかになっている。AIの高性能化が進む中、人間の想定を超えた行動への警戒が強まっており、AI開発を減速させるべきだとの指摘も出ている。