ホーム / ニュース / OpenAI、外部評価機関4団体を社内に常駐させる「埋め込み評価」を開始 METRは過去最大のRL学習を調査

OpenAI、外部評価機関4団体を社内に常駐させる「埋め込み評価」を開始 METRは過去最大のRL学習を調査

OpenAIは11月16日、外部の評価機関に社内のモデルやシステムへの深いアクセスを与えて長期間調べてもらう「埋め込み評価(embedded assessments)」の第1段階として、Apollo Research、METR、Transluce、Goodfireの4団体と契約したと発表した。評価者は必要に応じて、モデルのチェックポイント、ソースコード、学習・評価データ、監視システム、担当研究者との対話といった、社内研究者と同じ資源にアクセスできる。

4団体の役割は分かれている。Apollo Researchは、モデルが開発者の意図にひそかに反する行動(サブバージョン)をとりうるか、そしてそれを安全対策が検知できるかを、「学習がサブバージョンを促していない」「社内利用中にサブバージョンを試みていない」など4つの主張に沿って2段階で検証する。METRは同社として過去最大の強化学習(RL)の学習ランを対象に、既存のテストや監視が見逃した不整合な振る舞いを探す。Transluceは学習後のアライメント評価そのものの質と網羅性を調べ、2027年初めに約8週間の追加評価も予定している。Goodfireは解釈可能性の研究者を送り込み、学習ランの監視とデバッグを支援する。

運用ルールも公開した。機密情報に触れる評価者はOpenAIのオフィスに常駐し、同社の端末を使う。取締役会傘下の独立委員会であるSafety and Security Committee(SSC)が黒塗りなしの報告書を受け取り、評価者と非公開で話すこともできる。社員との対話はオフレコだが、評価者は聞いた内容についてOpenAIに確認済みの声明を求め、それを公表できる。OpenAIが確認を拒んだ場合は、拒んだ事実を公表してよい。報酬については、Apollo ResearchとGoodfireは結果に連動しない報酬を受け取り、METRとTransluceは報酬を受けずAPIクレジットや計算資源のみを受け取ると開示している。

外部評価者に社内アクセスを与える動きは、Anthropicが10月にMETRへ「社員並み」のアクセスを与えたのに続くものだ。両社とも「White House Accord on Super Intelligence」で独立評価を約束しているが、公表の扱いには差がある。AnthropicはMETRの公表を止める権限を持たないとしたのに対し、OpenAIは評価者の公表の独立性を認めつつ、機密情報の黒塗りと、安全上の問題を修正するまでの公表延期を求める権利を残した。また脚注では、METRの評価範囲が、METR自身が提案していた広範なミスアライメント調査より狭いことを認めている。今回は第1段階との位置づけで、今後は安全フレームワークの順守状況や組織文化を対象とする埋め込み評価も検討するとしている。

タグ付け処理あり: