米Metaは7月16日（現地時間）、10代のユーザーが同社のAIアシスタント「Meta AI」との会話で自殺や自傷行為を考えている可能性を示した場合、保護者に通知する新機能を発表した。この機能は、Instagramのペアレンタルコントロール機能を利用している保護者が対象となる。まずは米国、英国、オーストラリア、カナダで提供を開始し、年内には全世界の保護者が利用できるようになる計画だ。
AIがリスクを検出し、保護者に自動通知
Meta AIは従来から、10代のユーザーが自殺や自傷をほのめかした場合、危機対応のヘルプラインを表示し、保護者やカウンセラーなど信頼できる大人への相談を促してきた。今回の新機能ではさらに、専門家と共同で開発したシグナルに基づき、リスクの兆候がある会話を専用のAIシステムで検出し、保護者に自動的に通知する。誤検出への懸念に配慮し、AIがフラグを立てた会話はすべて人間が確認した上で通知を送る。意図が曖昧な場合は「慎重を期して保護者に通知する」方針で、通知の際には保護者が子どもとの対話に役立つための専門家によるリソースも併せて提供する。
なお、保護者に通知されるのはリスクの兆候があったことのみで、会話の内容そのものは共有されない。
緊急サービスへの通報機能も構築中
同社はまた、10代に限らずユーザーとの会話から自殺の差し迫ったリスクがうかがえる場合に、緊急サービスへ通報する仕組みを構築中であることも明らかにした。FacebookやInstagramでは既に、自殺の恐れが現実にあると判断される投稿を認識した際に緊急サービスへ通報しており、昨年は世界で1万9000件以上の通報を行ったとしている。
このほか、10代のメンタルヘルスを専門とする75人以上の臨床医から得たフィードバックを基に、自殺や自傷に関するプロンプトへのMeta AIの応答を改善していくという。2025年10月に発表したInstagramのより厳格なコンテンツ設定「Limited Content」もMeta AIとの会話に適用され、この設定を選択した保護者の子どもに対しては、Meta AIがより広範なプロンプトへの応答を拒否するようになる。
