米OpenAIのエンジニアがポッドキャスト「Latent Space」に登場し、新しいパーソナルAI「Dots」のコンピューター操作（computer use）機能について説明した。そこでは、AIが人間よりPCを上手に使い始めている現状が示された。
人間より速いPC操作AIの進化
computer useとは、AIエージェントが人間に代わってPCを操作する技術だ。Webサイトを開き、ボタンを押し、フォームに入力し、必要な情報を探す。これまで人間がマウスやキーボードを使ってしてきた作業を、AIが代行する。
computer useには、ユーザー自身のPCをAIに操作させる方式もある。一方、Dotsでは各エージェントにクラウド上のLinux仮想コンピュータが与えられる。AIはその中でブラウザだけでなく、デスクトップアプリも操作できる。
これまでcomputer useには、途中で操作に失敗したり、処理に時間がかかったりする問題があった。ところがOpenAIでcomputer use agentsのプロダクト・エンジニアリングを率いるアリ・ワインスタイン氏によると、この数カ月で性能が大きく向上したという。
人間にはない2つの強み
同氏は現在のDotsのcomputer useについて「おそらく多くの場合、平均的な人間より速くタスクを完遂できる」と語っている。同氏は、食材の量まで細かく指定できる配膳サービスを例に挙げた。何食分もの注文内容を細かく設定する作業は、自分でやると約2時間かかった一方、computer useでは15分で終わったという。次の目標は、熟練したコンピュータユーザーと同等か、それ以上の速度でソフトウェアを操作することだという。
だが、AIが人間より優位なのは速さだけではない。
人間なら「クリックする、待つ、画面を見る、次をクリックする」と順番に進めるところを、Dotsは必要に応じてJavaScriptを書き、一連の操作をまとめて実行する。さらにOpenAIの新しいAPIでは、あるツールの処理が終わるのを待たずに、別の処理を進める仕組みも導入されている。
さらにDotsには、人間にはないもう一つの強みがある。
「Appshot」という仕組みでは、Dotsが受け取るのは画面の画像だけではない。アプリやWebページの内部構造も一緒に渡される。
例えば人間がWebサイトを見ても、画面上に表示された文字の裏側に設定されているリンク先URLまでは見えない。しかしDotsには、その情報まで渡すことができる。カレンダーで画面上では途中までしか表示されていない予定名なども取得できるのだ。
手元にPCはいらない？「クラウド処理」へ
Dotsの各エージェントにはクラウド上のLinux仮想コンピュータが与えられ、AIはその中でブラウザやデスクトップアプリを操作する。ユーザー自身のPCをAIに操作させる方式とは異なり、処理はクラウド上で完結する。
