AIが書いたウェブページは本当に使えるのか？テンセントが自分でウェブページをクリックする評価ツールを作った

動察 Beating AI 速報、テンセント混元が清華大学・北京大学と共同で IWC-Bench を発表。AI が生成したウェブページが実際にどれだけ使えるかを専門に評価する。

多くのウェブページ生成評価は主にコードやスクリーンショットを見る。ページは綺麗に見え、コードにも機能が確かに書かれていても、ボタンが押せない、フォームが送信できない、ページを切り替えるとエラーが出るといった問題は、静的チェックではなかなか発見できない。

IWC-Bench はむしろ人間による検収に近い。Agent に実際にウェブページを開かせ、ボタンをクリックし、内容を入力し、ページを切り替えさせ、どの機能が実際に動作したかを確認する。最後に三つのことをそれぞれ評価する：ページが見栄えするか、操作がスムーズか、ユーザーの要求した機能が実現されているか。

ベンチマークには 369 件の実ユーザー要求と 5088 件の検収基準が収録され、17 のモデルが合計 6273 のウェブアプリを生成した。別途 197 組の人手による再確認の比較では、IWC-Bench は 168 組で人間の選択と一致し、一致率は 85.3% に達した。

結果はまた、ウェブページが「見た目が良い」ことと「本当に使いやすい」ことは別物であることを示している。GPT-5.6-Sol はページの美観が最高だが、使いやすさは 6 位にすぎない。個々のウェブページに至っては、見た目が良いことはほぼ使いやすさを説明できず、両者の相関係数はわずか 0.36 である。