OpenAIは11月9日、研究インフラ上で動くモデルの処理を一元的に追跡し、安全上・セキュリティ上の懸念が生じたときに素早く停止させる仕組み「Control Room」を公開した。強化学習の実験や評価、データ処理など、研究用の推論ジョブすべてを対象にしており、停止の判断が下されてから最大35秒でモデルの出力を止められるという。すでに研究インフラ全体に展開済みだ。
仕組みは、ジョブ（ワークロード）、モデルを動かす推論エンジン、Control Roomサービスの3者で構成される。研究者がジョブを始めると、ジョブはControl RoomからジョブIDを受け取る。以後、モデルにトークン生成を依頼するたびにこのIDを推論エンジンへ渡し、エンジンはControl Roomに許可を確認してから処理する。ジョブが停止済みと記録されていれば、エンジンは依頼を拒否し、それ以上の出力は生まれない。35秒という上限は、大量の認可リクエストをさばくためのキャッシュ層に由来し、OpenAIはこれをゼロに近づける作業を続けているとしている。
停止の起点になるのは、OpenAIが最先端の強化学習ジョブすべてに付けている「モニター」だ。学習中のモデルの挙動を別のモデルが監視し、問題を検知すると重大度に応じてControl Roomへ停止を指示する。また、Control Roomが障害や改ざんで落ちた場合は全推論を拒否する「フェイルクローズ」設計を採用しており、最先端モデルの研究ジョブには適用済み、残りの研究ジョブにも数日以内に広げる予定だ。
設計上の特徴は、停止機構をジョブ側ではなく推論層に置いた点にある。研究者が書くジョブのコードは種類が多く頻繁に変わるため、安全機構を組み込む場所として信頼しにくい。一方、研究で使われる推論のコードパスはごく少数で、ここを関所にすればすべての推論に確認を通せる。外部向けのAPIやChatGPTはもともと配信基盤が集約されていて停止手段が整っているとOpenAIは説明しており、今回の対象が「研究インフラ」に絞られているのはこのためだ。OpenAIは9月に学習段階の安全性の根拠を示す「セーフティケース」の考え方を、10月には最先端モデルのミスアライメント検知の手法を公開しており、Control Roomはそこで検知した問題を実際に止めるための実行系にあたる。エージェント型推論を行う研究ジョブには、承認済みのセーフティケースとの紐付けも義務づけられている。
