OpenAIは11月6日、ウェットラボ解析のベンチマーク「BioBasicsBench」を公開した。生体試料を扱う実験室で日々出てくる生の実験データを、AIエージェントが正しく読めるかを測るもので、酵素設計のバイオ企業Ligoと共同で作った。
タスクは100問で、タンパク質実験、イメージングとサイトメトリー、定量・アッセイ、核酸実験、分子クローニングの5分野にまたがる。入力は論文用に選び抜かれた図ではなく、電気泳動のゲル画像、寒天培地の写真、顕微鏡のZスタック、シーケンスの生データ、プレートリーダーの出力、実験手技の動画などで、研究者が自分の実験データから作った。各問には専門家が書いた採点基準があり、結論・数値・根拠に加え、「このデータでは結論を出せない」と見抜けたかにも配点される。最高推論設定（xhigh）で比べると、GPT-6 Astraが66.7%、GPT-6.1 Solが62.0%、GPT-5.6 Solが43.8%、GPT-6 Lunaが38.3%だった。Astraの出力トークンは1タスク平均4,704で、GPT-5.6 Solの9,099の約半分で高い点を出している。
改善例として挙げられたのは、陰性対照のプレートに実験とは別の抗生物質（カナマイシン）のラベルが貼られていることに気づき、対照として不適と判断した例や、細胞が消えたように見える画像列を、細胞の変化ではなく深さ方向の撮影（Zスタック）だと見抜いた例だ。弱点も具体的に示されている。コロニーPCRの結果から正しいクローンを選ぶ課題では、「PCR産物が大きい方が目的の構築物」という思い込みで、対照の示す答えと逆のレーンを選んだ。コロニー計数では、近接したコロニーの見落としや空の培地の誤カウントが重なり、基準値より約12%多く数えた。この誤差は形質転換効率の推定値を同じ割合で押し上げる。
OpenAIは11月2日にも、保育園探しや行政手続きなど日常タスクの支援力を測るLifeValを出したばかりで、10月には研究機関向けにGPT-Rosalindの提供を広げている。科学系のAI評価はGPQAのような知識問題や、論文の図表を読むベンチマークが中心だったが、BioBasicsBenchは失敗した実験や曖昧な画像を含む現場のデータをそのまま使い、結論を保留できるかまで採点する点が異なる。ただし最高のAstraでも配点の3分の1を落としており、OpenAI自身もスコアの向上はラボでの信頼できる判断をまだ意味しないと明記している。
