OpenAIは2025年5月12日、医療分野のAI性能を評価する新しいベンチマーク「HealthBench」を発表した。5,000件の実際の医療会話シナリオを用いてAIの回答品質を評価する枠組みで、現役医師との比較でモデルの実力を測る設計になっている。
HealthBenchの特徴は、単純な問題正解率ではなく「実際の診療場面を想定した会話品質」を評価する点だ。患者からの症状説明への対応、治療オプションの説明、医薬品の相互作用に関する質問など、複数の医療コンテキストにわたる5,000件のシナリオが収録されており、回答の正確さ・安全性・わかりやすさを複合的に採点する。
評価の結果、ChatGPT for Cliniciansが現役医師のグループによる回答の平均スコアを上回る結果を記録した。ただしOpenAIは、これがAIが医師に取って代わることを意味するのではなく、補助ツールとしての有用性を示すものと位置づけている。
HealthBenchはオープンソースで公開されており、他のAI企業も自社モデルの評価に使用できる。医療AIの評価基準は各社が独自のものを使ってきたため、共通のベンチマークが業界に存在しなかった。OpenAIが標準的な評価枠組みを先行して提案した形だ。
