OpenAIは7月29日、2Dパズルゲームのベンチマーク「ARC-AGI-3」でのスコアが低かった原因を分析した記事を公開した。数学の未解決問題を解いたりポケモンをクリアしたりしてきたGPT-5.6 Solが、このベンチマークでは公式ハーネス上で13.3%しか取れていなかったことを受けた調査だ。
OpenAIが見つけた原因は、ARC-AGI-3が公平な比較のために採用している汎用ハーネスの仕様にあった。1つ目は、行動のたびにモデルの内部推論（プライベートな思考過程）を破棄していたこと。2つ目は、会話履歴が17万5000文字を超えると古いメッセージを機械的に切り捨てる「ローリング・トランケーション」を使っていたことだ。この2つによって、Solは毎回ゲームのルールをゼロから考え直し、過去の行動記録すら失っていく状態に置かれていた。
OpenAIは自社のResponses APIが持つ「推論の保持」と「圧縮（コンパクション）」という2つの設定を有効にしてこの問題を検証した。推論を保持する設定では、前回の応答IDを渡すだけで思考過程が引き継がれる。圧縮は履歴を切り捨てるのではなく要約して残す仕組みだ。この2つを有効にしただけで、公開タスクセットでのスコアは13.3%から38.3%へと3倍近くに上昇し、出力トークン数は6分の1に減った。人間のテスターの平均スコアは公式ログから48%と推定されており、設定変更後のSolはその差を大きく縮めたことになる。
この結果が示すのは、AIエージェントの性能はモデル単体でなく、API設定やハーネス設計との組み合わせで決まるという点だ。ChatGPTやCodexでは推論の保持や圧縮が標準で有効になっており、汎用ハーネスでの評価結果がそのまま製品での体感性能を表すとは限らない。OpenAIは、モデルを比較する際はChat Completions APIではなくResponses APIを使い、推論保持と圧縮を有効にした条件で評価するよう推奨している。
