OpenAIは11月20日、AIモデルが医薬品化学(メディシナルケミストリー)の推論をどこまでこなせるかを測るベンチマーク「MedChemBench」を発表した。分子構造を読み取り、実験結果を解釈し、次にどの化合物を試すべきかを選ぶ力を評価する。結果はプレプリント論文として公開されている。
問題は、実際の創薬研究のある時点を切り取る形で作られている。標的タンパク質、研究の狙い、それまでに試した化合物と実験結果が与えられ、モデルは構造の再構成、根拠に基づく説明、化合物の順位付けと選択、物性値の予測の4項目で採点される。117件の論文と特許から99問を作成し、登場する分子構造は761種類。モデルは1回だけ回答し、ツールや追加実験は使えない。たとえばPRMT5阻害剤の問題では、3つの類縁化合物について細胞での効力、膜透過性、肝酵素による分解の速さを予測させ、のちに公表された実測値と照合する。
推論強度を最高(xhigh)にそろえた条件の得点は、GPT-6.2 Astraが84.5%、GPT-6 Astraが83.3%、GPT-6.1 Solが82.0%だった。GPT-6.1 Terraは75.1%で、一世代前のGPT-5.6 Solは58.2%にとどまる。差が最も分かりやすいのは18員環を保ったまま分子を組み立てる問題で、GPT-6 Astraは10回中10回正解したのに対し、GPT-5.6 Solは15員環を作り、GPT-5.6 Lunaは分子を2つの断片に分けてしまい、どちらも全問不正解だった。
項目別に見ると得意・不得意がはっきり分かれる。Astraは構造の再構成で95.4%を取り、化合物の改変が結合や吸収、代謝に与える影響を説明する部分でも強かった一方、どの化合物を選ぶか、数値をどう予測するかでは得点が半分程度にとどまった。OpenAIが2日前に公開した研究自動化の報告で「ギザギザのフロンティア」と呼んだ、能力のばらつきそのものを示す結果になっている。
OpenAIは11月6日にもウェットラボの生データの読み取りを測る「BioBasicsBench」を出しており、科学分野のベンチマーク公開が続いている。BioBasicsBenchが実験データの解釈を問うのに対し、MedChemBenchは化合物の設計と選択という、創薬の意思決定に近い部分を対象にした点が異なる。
注意点もある。OpenAI自身が、この結果は新薬の発見や実験上の判断の改善を示すものではないと明記しており、出典の論文や特許をモデルが学習時に見ていた可能性も否定できないとしている。また発表ページには、問題データやコードの公開、ライセンスに関する記載が見当たらない。現時点では外部の研究者が同じ条件で他社モデルを測ることはできず、比較対象もOpenAIのGPTモデルに限られる。GPT-6.2 Astraの発表時に示された性能を、創薬化学という具体的な領域で裏づけるデータとして読むのが妥当だ。



