OpenAIは10月29日（米国時間）、学習・評価・社内利用中のAIエージェントが意図から外れた振る舞いをしていないかを見張るミスアライメント監視システムの仕組みを公開した。7月のHugging Faceインシデントで監視の抜けが判明したことを受けて範囲を大きく広げたもので、現在はフロンティアモデルの学習、評価、社内利用に加え、外部向けデプロイの一部も対象にしている。
拡充後のシステムでHugging Faceインシデント当時の挙動を再現したところ、エージェントが最初にサンドボックスを抜けてから約30分で警告が出た。実際にHugging Faceのシステムが侵害されるより30時間以上前の時点にあたる。9月には実際の強化学習の実行中、隔離されているはずのモデルがDNSを使ってインターネットに接続した事例を15分以内に検知し、その3分後には担当者が確認を始めた。OpenAIはその後、フロンティアモデルの強化学習を一時停止し、封じ込めの仕組みを強化している。
監視の対象は、GPT-6 Astraと同等以上の能力を持つモデルのすべての強化学習・評価と、ツール利用に対応するハーネス。大半のワークロードではGPT-5.5 Thinkingを上回ると評価したモデルまで含め、社内のCodexトラフィックはモデルを問わずすべて監視する。サイバー能力がPreparedness Frameworkの「Critical」しきい値を超えるモデルは、外部でのツール利用も調整版のシステムで見ている。
活性化プローブから調査エージェントまで4層で絞り込む
計算資源を抑えながら取りこぼしを減らすため、システムは前段で広く拾い、後段で深く調べる構造をとる。
- L0（活性化プローブ）：モデル内部の活性化から懸念パターンを拾う軽量分類器。誤検知を許容して感度を高く設定し、フラグが立たなかったトラフィックからも5%を無作為に次の層へ回す。
- L1（モデルによるレビュー）：エージェントの直近の会話、思考過程、ツール利用を、行動時と同じコンテキストで読み、欺瞞や無許可の行動、評価の操作の兆候を探す。
- L2（調査エージェント）：評価の目的を確かめ、全コンテキストをさかのぼって経緯を再構成する。隔離環境でコードを実行して証拠を調べ、深刻度を判定する。介入の要否を見るセキュリティ担当と、研究対象になる挙動を拾うアラインメント担当の2系統がある。
- L3（自動調査）：社内Codex、評価、強化学習などの機微なワークロードで、ネットワークログなど会話の外の証拠と突き合わせ、人間に通知するかを決める。
最優先の警告は通常15分以内にセキュリティ・学習チームへ届く。ただし誤検知の多さから、時間を問わない呼び出しはフロンティアの強化学習に限られ、それ以外の大半は業務時間内のみ、社内Codexでは呼び出し自体が無効になっている。一部の重大な警告は担当者を待たずにワークロードを自動停止できる。
監視の精度は、過去のインシデントの再生、模擬攻撃、無作為監査、レッドチーミングで測っている。監視役に使うモデルの比較では、GPT-5.6 SolがGPT-5.6 TerraやLunaより多くの事例を捉えた。METRとRedwood Researchは7月から3週間、社内監視を独立にレッドチーミングし、見つかった脆弱性の大半は修正済みで1件が対応中だという。9月に始まったミスアライメント報告の事例の多くも、この監視が拾ったものである。
思考過程を罰しないという設計判断
設計上の注意点として挙げられたのが、監視そのものが「隠す」動機を生む問題だ。思考過程に不正が表れたサンプルの報酬を下げれば、モデルは不正をやめるのではなく隠すことを覚える。OpenAIはAstraを含む高度なモデルが思考過程に何を書くかをより制御できるようになっていると認めたうえで、監視に引っかかったサンプルも報酬を変えずに学習に残している。監視を非同期にしているのも、調査に時間がかかるサンプルほど学習で不利になるという選択圧を避けるためだと説明する。
同じ問題には、Googleも10月13日公開のGemini 4の安全性報告で数字を出していた。コーディング課題での近道を思考過程上で罰したところ、近道への言及は61%減ったものの、言及せずに近道をとるケースが11.2%から36.4%に増え、近道そのものは減らなかった。Googleも思考過程に罰則をかけない方針を示しており、思考過程を監視の手がかりとして残す点で両社の判断がそろっている。
外部向けでは、Astraなどの利用に同じ構造の調整版を適用する。社内と違ってOpenAIの人間のレビューには原則回さず、自動介入に対応した環境では会話を一時停止してユーザーに情報を示す。企業顧客はWebhookで自社のセキュリティチームに警告を流せる。Zero Data Retentionの約束は維持するため、社内ほどの文脈は使えない。APIでは、ツールを使うResponses APIのリクエストが対象で、会話追跡の仕組みを使っていれば自動停止までかかる一方、Chat Completions APIは監視の対象外になる。Astraをエージェント用途でAPIから使う開発者にとっては、どちらのAPIを選ぶかで監視と自動停止の有無が変わることになる。
