米オープンAIは7日、開発中の次期AIモデル「アストラ」のサイバー攻撃能力が、自社の安全基準で重大な危険レベルに達している可能性があると発表した。通信網から切り離した環境に移し、基準を満たさない社内作業は当面停止する。
内部調査で能力向上を確認
発表によると、最近の内部調査で、アストラは自律的にプログラムを書く能力などが著しく向上していることを確認。人間が介入しなくても、防御の堅い重要システムの未知の脆弱性を突き、自ら攻撃手段を考案して実行する恐れを排除できないと判断した。
対策と今後の検証
対策として性能を左右する重要データの保護を厚くしたほか、AIが答えを導くまでの思考過程を常時監視し、危険な動きがあれば作業を止める仕組みを設けた。今後は政府機関や外部の安全団体と協力して能力を検証する。
—
