中国の研究チームが、AIモデルがコンピューターワームのように自らを複製し、他のシステムに侵入する能力を持つことを実験で示した。AIの自律性が高まるなか、制御不能な増殖リスクが現実味を帯びている。
AIエージェントが自己複製に成功
上海の復旦大学に所属するコンピューター科学者パン・シュードン氏のチームは、複数の実験を実施。AIモデルに少し指示を与えるだけで、リモート環境のコンピューターシステムに侵入し、追加リソースを得るために自らを複製することを自律的に選択することを確認した。最初の指示以降、人間の介入は不要だった。
チームは32種類のAIモデルを使ったシステムをテストし、うち11のシステムが人間の介入なしに自己複製を達成。比較的能力が限られる140億パラメーター規模のモデルでも、自己複製し、そのコピーを別のマシン上で動作させることに成功した。なお、最先端モデルの多くは数兆規模のパラメーターを持つ。
自律性が高まるほどリスクも増大
パン氏は「複数の能力が組み合わさり、こうした行動をとれるようになることが、技術的に現実味を帯びています」と述べ、「自律性が高まるほど、AIによる意図しない自己複製が起きる可能性も高まります」と付け加えた。さらに「より長期にわたって計画を立てる能力や記憶、ツールの利用、失敗しても立て直す能力、外部システムへのアクセスは、いずれも管理下からの脱出や自己複製を容易にします」と説明した。
パン氏らは論文で、この研究は「安全対策と制御の仕組みを早急に整える必要性」を示していると記している。パン氏は、今回の実験が直ちに制御不能な増殖を意味するわけではないとしつつ、「今回の結果は、より自律的なエージェントが広く導入される前に、リスクを評価すべき十分な理由を示しています」と語った。
AIで進化するコンピューターワーム
自己複製するコンピューターワームは、コンピューターセキュリティ分野の古くからの問題だ。1988年、コーネル大学のコンピューター科学者ロバート・モリス氏が最初のコンピューターワームをインターネット上に放った。モリス氏は黎明期のインターネット規模を測ろうとしていたが、意図せず自己複製するプログラムが制御不能になった。その後、マルウェア検出ソフトを逃れるためコードを書き換えるワームや、マシンを乗っ取りデータを盗むウイルスが登場した。
AIを組み込んだ自己複製プログラムは、はるかに高度な能力を発揮する可能性がある。トロント大学、ケンブリッジ大学、ServiceNowの研究チームが最近発表した研究では、AIモデルを使い、標的ごとに合わせた攻撃を生成する新種のウイルスを作れることを示した。新たな攻撃手法を自ら見つけ出し、独創的な方法で検出を逃れる可能性がある。
