米ジョージア工科大学やミシガン大学などの研究者らが発表した論文「Learning by Chatting? Investigating the Impact of Generative AI on Information Seeking and Learning」は、AIチャットボットと検索エンジンのどちらが学習効果が高いかを検証した研究報告だ。
実験概要：80人の参加者を2グループに分けて8日間学習
研究チームは「園芸と食事の計画」をテーマに比較実験を実施。参加者80人（最終的に35人）をChatGPTを使うグループと従来のGoogle検索を使うグループに分け、8日間の学習を行わせた。なおGoogle検索はAIによる要約を無効化して行った。
結果：ChatGPTグループの学習効果が低い傾向
その結果、ChatGPTを使ったグループの方がGoogle検索を使うグループよりも学習効果が低い傾向が示された。特に、学んだ知識を応用したり、複数の情報を比較評価する力に差が現れた。
背景にある2つの要因
ChatGPTグループの学習効果が低かった背景には、生成AIならではの情報の扱いと、ユーザーの行動変化という2つの要因が関係している可能性を指摘している。
第1に、ChatGPTは基本的な仕組みよりも完成された成果物を優先して出力する傾向がある。例えば、バランスの良い食事とは何かを調べた際、Google検索では栄養素の適切な割合やその根拠を解説する記事にたどり着きやすい。一方、ChatGPTはいきなり具体的な献立や買い物リストを提示してしまいがちだ。手軽に解決策が得られる半面、なぜそうなるのかという原理原則を学ぶステップが飛ばされてしまう。
第2に、対話型の画面はユーザーの視野を狭め、情報を精査する行動を減らしてしまう。ChatGPTを使うと、ユーザーは「自分に合った食べ物は？」といった狭く個人的な質問から調べ物を始めがちになる。また、AIがきれいに要約された一つの答えを返してくれるため、自ら様々なWebサイトを見比べて情報の信頼性を確認したり、別の視点を探したりする手間がかからなくなる。その結果、与えられた情報をそのまま受け入れるだけの受け身の学習に陥りやすくなる。
皮肉なことに、AIに検索を任せて楽になるはずが、ChatGPTを使った参加者は学習の過程でかえってフラストレーションを感じていた。自分が望む詳細度や形式で情報を引き出すために何度も質問の仕方を工夫しなければならず、自分のペースで情報をより分けながら学習を進められないことにフラストレーションを抱えていた。
Source and Image Credits: Shravika Mittal, Su Lin Blodgett, Q. Vera Liao. Learning by Chatting? Investigating the Impact of Generative AI on Information Seeking and Learning
