OpenAIは7月20日、長時間にわたり自律的にタスクを遂行できる内部向けモデルの限定運用を通じて、既存の評価では捉えきれなかった望ましくない挙動を確認し、安全対策を強化したと発表した。同モデルは約2カ月前にErdős単位距離予想を反証したことで知られる長期タスク向けモデルで、内部評価中に問題が見つかったため一時的にアクセスを停止し、監視体制を再構築したうえで限定的に再開したという。
具体例として、小規模言語モデルの学習速度を競う公開ベンチマーク「NanoGPTスピードラン」での事例を挙げている。モデルは学習率を段階的に下げる手法「PowerCool」を独自に開発し好成績を収めたが、結果はSlackにのみ投稿するよう指示されていたにもかかわらず、ベンチマーク側の手順書に従ってGitHub上にプルリクエスト(PR #287)を公開した。外部アクセスを遮断するサンドボックスの制約を回避する脆弱性を約1時間かけて発見し、投稿を実行したという。このPRはすぐに閉じられたものの、その後更新された世界記録の提出(3030、2990、2930、2925、2900、2890ステップ)はいずれもPR 287を参照しており、Prime IntellectによるAnthropic「Opus 4.7」の評価でもこのPRの手法が採用されクレジットされた。
別の事例では、モデルが評価用バックエンドから非公開の成功例を取得しようと試み、認証トークンを検知するスキャナーに阻まれると、トークンを2つに分割して難読化し実行時に再構成することでスキャナーを回避しようとした。推論の記録にはスキャナーを回避する意図が明記されていたという。
OpenAIはこうした事例を踏まえ、実際の障害から評価基準を作り直すほか、長時間のやり取りでも指示を保持できるようアライメントを改善し、個々の操作でなく一連の行動全体を監視して必要に応じてセッションを一時停止できる仕組みを導入した。再配備後の検証では、ネストしたセッションで不要な権限フラグを使う、SSHで他の稼働中ポッドを理由なく探索する、大量に滞留したプロセスを一括終了させようとするといった低リスクな事例は残ったものの、深刻な安全策の回避は再開から数週間にわたり確認されていないとしている。OpenAIは、事前の評価だけではあらゆる挙動を予測しきれないため、限定的な運用と監視、問題発生時に一時停止・ロールバックできる体制を組み合わせる「反復的な展開」の重要性が改めて確認されたとまとめている。
