OpenAIは7月8日、コーディング能力の測定に広く使われているベンチマーク「SWE-Bench Pro」を詳細に監査した結果を公表した。データ品質を確認するパイプラインと人手によるレビューを組み合わせて調査したところ、収録タスクの約3割に問題があると推定されたという。
OpenAIは以前、代表的なコーディング評価だった「SWE-bench Verified」に設計上の欠陥と汚染の問題があり、モデルの実力を測る信号として意味を失っていたことを指摘し、後継としてSWE-Bench Proへの移行を推奨していた。SWE-Bench Proは公開・非公開リポジトリの機能追加履歴からタスクを抽出し、既存機能を壊さずに新規テストを通過する実装をモデルに求める設計で、より長い作業時間と現実的な難易度を意図していた。731件からなる公開分割セットでは、フロンティアモデルの通過率が8カ月で23.3%から80.3%まで上昇していたという。
今回の監査では、モデルの解答内容やタスクのメタデータ、失敗の記録を分析するパイプラインがまず286件を問題の疑いありとして抽出した。これをCodexベースの調査エージェントによる複数回の独立監査と、経験豊富なソフトウェアエンジニア5人ずつによる人手レビューの両方で検証した結果、自動パイプラインは200件（27.4%）、人手レビューは249件（34.1%）を不備ありと判定した。両者の判定が重なった割合は74%で、特にテストがカバーする範囲が狭い「低カバレッジ」の問題は、人手レビューが9.4%を指摘したのに対し自動パイプラインは4.1%にとどまり、人手のほうが検出に強い傾向が見られた。
不備の内訳は、プロンプトに書かれていない実装細部までテストが強制する「過度に厳格なテスト」、隠しテストが要求する条件がプロンプトから読み取れない「仕様不足」、機能の一部しか検証しない「低カバレッジ」、テストの要求と矛盾する「誤誘導プロンプト」の4種類。公開された具体例では、目次エントリをMarkdown化するタスクで、プロンプト中の例は区切り記号の前に半角スペース1個だったのに対し、隠しテストは2個を要求しており、プロンプト通りに実装したモデルの解答が不正解として処理される構造になっていた。OpenAIはこの結果を受け、SWE-Bench Proの採用を推奨していた過去の見解を撤回するとしている。
