セキュリティニュースサイトのThe Hacker Newsは7月30日(現地時間)、Microsoft WordのCopilotを悪用し、隠されたプロンプトを別のWord文書へ自動的にコピーさせる新たな攻撃手法が発見されたと報じた。ドキュメント内に悪意のあるプロンプトを忍ばせ、読み込んだAIにプロンプトを拡散させる攻撃手法で、Copilot for Wordを標的としている。
この攻撃手法はAI研究者のHåkon Måløy氏が発見。詳細は「Context Collapse, Part 3 - AI Worming through Word | En Klype Salt」として公開されている。
攻撃はどのように広がるのか
この手法の特徴は、悪意あるプロンプトがAIによって別のWord文書へコピーされ、その文書を開いたAIでも同じ動作を繰り返す点にある。攻撃手順は次の通り。
- 攻撃の起点となるWord文書に悪意のあるプロンプトを挿入する
- Copilotは隠されたプロンプトを通常の指示として受け取り、新しく作成・編集しているWord文書にもその内容を書き込んでしまう
- プロンプトの一部にプロンプト自身をコピーするよう指示しておくことで、編集中の文書に悪意のあるプロンプトが伝播する
研究者が想定するシナリオでは、財務報告書の作成時に従業員が公開資料をCopilotへ読み込ませたとする。その資料には悪意あるプロンプトが埋め込まれており、Copilotはプロンプトに従って出力結果の財務データを改ざんし、同時にプロンプトを新しいドキュメントへ保存する。このドキュメントが社内で共有されれば、誤った財務資料の共有に加え、被害が連鎖的に拡大する。影響はグループ企業や協力企業に及ぶ可能性もある。
Microsoftの2度の対策でも解消されず
この手法はMicrosoftに通知され、責任ある情報開示に従い144日間の猶予期間を設けたうえで7月28日(現地時間)に公開された。研究者によると、当初の猶予期間は90日間だったが、2度にわたり延期されたという。公開時点では有効な対策は確認されていない。Microsoftはモデルのアップグレードを含む2回の対策を試みたが、脆弱性の解消には至らなかったと研究者は報告している。
被害を減らすためのポイント
この手法を用いた攻撃を防ぐ手立てはまだ見つかっていないが、研究者は軽減策として以下を挙げている。
- Copilotを利用する場合は、外部ソースの資料を信頼できないものとして扱う
- Copilotによる生成または編集を開始する前に、コンテキストとして添付しているドキュメントを確認する
- Copilotによって生成または編集されたドキュメントは、再利用・共有・配布する前に慎重に検査する
最後の検査を目視で行う場合には注意が必要だ。研究者が公開した具体的なプロンプトの埋め込み手法は、白い背景に白色・極小フォントでプロンプトを埋め込む方法で、ドキュメントを単純に読んでも認識できない。文書全体を選択することで隠された文字が見つかる場合があるため、選択状態にして浮き出させる方法が有効とされる。一方で、自然な文章としてプロンプトが埋め込まれる可能性もあるため、内容についても評価する必要がある。
