Apple論文が問いかけた「考えるAI」の限界
2025年6月、Appleの研究チームが発表した論文「The Illusion of Thinking（思考の幻想）」は、最先端の推論モデル（Large Reasoning Model、LRM）が複雑な問題の前で正解率ゼロに陥ると報告し、The GuardianやWall Street Journalにまで取り上げられる大きな議論となった。反論として広まった文書が実はジョークだったと判明し、さらに反論や再検証が続くなど、わずか数週間で議論は大きく広がった。しかし、この騒動の本質は「AIが悪いかどうか」ではなく、「あなたの会社のAI評価は本当に正しいのか」という問いである。
なぜAIは「正解率ゼロ」に陥ったのか
Appleの研究者らが報告したのは、問題の複雑さに応じてAIの性能が3つのフェーズに分かれ、一定の水準を超えると正解率がゼロに落ちるという実験結果である。まず、既存ベンチマーク評価の根本的な問題として2点を指摘している。1つ目はデータ汚染で、米国の数学競技「AIME」などのベンチマークは、モデルの学習データに既に含まれている可能性がある。Appleの研究者はLLMによるAIME2025の正解率がAIME2024より低下した現象を確認し、AIME2024は既にネット上に問題や詳細な解説が出回っているため、AIが学習段階でこれらを覚えてしまった（データ汚染）可能性を指摘している。2つ目は、最終回答の正誤しか評価しないという問題で、思考プロセスの構造や質への洞察なしにはモデルの推論の実態を把握できないと主張している。
パズルによる制御実験の詳細
こうした問題意識の下、Appleの研究者らはハノイの塔、魔方陣問題などアルゴリズム問題で有名な4種類のパズルを用意した。これらは難易度を数学的に制御でき、専用シミュレーターによって最終回答だけでなく思考プロセス内の中間回答の正誤まで自動検証できる点が特徴である。各パズルにつき25サンプルを生成し、Claude 3.7 Sonnet（思考モードの有無の両方）、DeepSeek-R1とDeepSeek-V3、o3-mini（中・高設定）などで評価した。実験結果として報告された最も重要な知見が、問題の複雑さに応じた3つの性能フェーズの存在である。
3つの複雑度フェーズの実態
フェーズ1（低難易度の問題）：通常のLLMがLRMと同等以上の正解率をより少ないトークンで達成。フェーズ2（中難易度の問題）：LRMの長い思考プロセスが機能しLRMの正解率が高い。フェーズ3（高難易度の問題）：通常のLLMもLRMも正解率がゼロになる。つまり「考える」モデルであっても、一定の複雑さを超えると回答に限界を迎えることが分かった。さらに、正解の手順（アルゴリズム）を事前に与えても限界の壁がほぼ変わらないという結果もあり、LRMの限界は「解法を思い付くこと」だけでなく、「手順をミスなく実行し、確かめること」にもあると指摘している。
論文への主な批判と反論の応酬
Apple論文の発表後、さまざまな立場から批判が相次いだ。まず、出力トークン制限と推論能力の崩壊を混同しているという指摘が、発表直後から相次いだ。Apple論文の実験では、モデルにハノイの塔の全手順を決められた形式のテキストとして書き出させている。ハノイの塔とは大小の円盤の板を、別の杭に差し替えていくパズルで、この円盤が増えるほど手順数は指数的に増加する。つまりモデルが推論能力の限界に達する前に、出力できる文字数の上限に物理的にぶつかってしまうという問題がある。
助成団体Open Philanthropyのアレックス・ローセン氏（AIガバナンス・政策担当シニアプログラムアソシエート）は、Apple論文公開から数日後に、著者にClaude Opusを頼んでApple論文が出力文字数の上限に達したのではないかという指摘を含む風刺文書（ジョーク論文）をarXivに投稿した。論文の共著に対する声明には「Claude Opusは筆頭著者に値する貢献をしたとアレックスは考えているが、arXivのポリシーに違反するため名前を削除した」との記載とともに、著者からClaude Opusが削除されている。
また、AIモデル評価を手掛ける非営利研究機関METRのローレンス・チャン氏は、全手順を書き出せなくてもPythonスクリプトを書けば簡単に解けるとし、全手順の書き出しと解法の理解は別の能力だと指摘している。実際のAI活用では、LLMはAIエージェントとしてコードやツールを呼び出しながら問題を解く。「全手順を自力で書き出せるか」という単体評価は、そうした実用的な能力を見ていないという主張である。
評価設計への批判と再検証
スペイン国立研究評議会（CSIC）とマドリード工科大学（UPM）の共同研究センター（CSIC-UPM）の研究者らによる「Rethinking the Illusion of Thinking」は、Appleの実験を独自に再現・改良し、学術的根拠のある批判を提示した。魔方陣問題について、Appleの論文には、ボートの定員が3人の場合に登場人物が6組（12人）以上になると数学的に解が存在しないことが先行研究で証明されている設定が含まれていた。CSIC-UPMの研究者らが、解が存在する問題のみに限定してテストしたところ、登場人物が100ペア（200人）を超える複雑な設定でもLRMは問題なく解くことができた。
一方で、ハノイの塔について改良した手法（段階的なプロンプトやエージェント間の対話）を用いても、円盤が約8枚になるとLRMが失敗することを確認した。Appleの実験設計には問題があったものの、LRMの認知的限界も部分的には実在すると実証した。つまり、「AppleのLRM評価実験には不適切な問題設定が含まれており、能力を不当に低く見積もっていた部分がある。しかし、AIが複雑な問題でつまずく本当の限界（認知的限界）も確かに存在している」というのがCSIC-UPMの研究者の主張である。
エージェント設計による突破例
これらの論争と並行して、Apple論文と同じ問題設定で別の方向性を示す先行論文が2025年11月12日に公開された。ITサービス大手Cognizantの研究部門Cognizant AI Labとテキサス大学オースティン校の研究者らによるMAKER論文である。LRMではなく複数の通常のLLMを1ステップ単位に分解して並列実行し、多数決で正解を選ぶという仕組みで、ハノイの塔の複雑な問題（円盤20枚、最低104万8575手）をゼロエラーで解いたと報告している。ただしハノイの塔は「次の一手」が常に1つに決まる特殊な問題であり、より複雑な実業務タスクへの適用については限界があるとしている。
論争が示すAI評価の難しさ
この一連の議論が浮き彫りにするのは、AIの能力を正しく評価することの根本的な難しさである。「解けなかった」のが推論能力の問題なのか、出力形式の制約なのか、問題設定そのものが不適切なのか、この問いに対する研究者コミュニティの議論はまだ収束していない。また今回の論争では、ジョーク論文が学術論文と誤認されて広く拡散するという事態も起きており、急速に動くAI分野において情報の真偽を見極めることの難しさも改めて示された。なお、MAKER論文公開の8日後、Appleの研究者らも一連の反応への回答を追記した形で学会（NeurIPS 2025）採択用の最終版（v3）へと論文を更新している。
結論：評価の設計がAI活用の成否を分ける
今回の論争を整理すると、「LRMは考えられない」でも「LRMは万能だ」でもなく、「何をどう測るかで結論が変わる」というのが実態に近い。公開ベンチマークのスコアはそれを測った条件のみで有効であり、Apple論文はデータ汚染の問題を指摘した。ベンダーが提示するスコアをうのみにせず、自社業務に近いタスクで独自評価を行うことが実態に近い判断につながる。何を測っているのかを先に定義すること、LRMの用途を複雑度で分けること、情報精査の重要性が、今回の論争から得られる教訓である。結局、ツールの良しあしよりも「何を解きたいのか」「それを正しく測れているか」という問いの設計力が、LLMとLRMの活用の成否を分けている。この論争はその問いの難しさを、研究者たちが実際に間違いを犯しながら示してくれた貴重な事例である。
