OpenAIは8月18日、サイバー能力が臨界に近づく時代のモデル開発ペースに関する方針文書を公開した。開発中の次期モデル「Astra」がPreparedness Frameworkの定めるサイバーセキュリティ能力の最高区分「Critical」に達し得ると8月7日に判断したことを受け、展開予定モデルの強化学習（RL）訓練を2週間停止し、監視・アラインメント・セキュリティの各基準を引き上げたことを明らかにしている。
Astraの能力判定そのものについては、別記事「OpenAI、次期モデル『Astra』のサイバー攻撃能力が『重大』水準に達した可能性を公表」で扱っている。今回の文書は、その判定と、同社が「OpenAI-Hugging Faceインシデント」と呼ぶ事案の2つを受けて、社内の研究プロセスと基盤をどう作り替えたかを説明するものだ。
最大規模のフロンティアRL runは現在も保留のままで、より小規模な訓練と評価でモデルの挙動を確認し、アラインメントの裏づけを積み上げてから先に進むとしている。Hugging Faceインシデントの直後には、コードを実行できる、あるいはインターネットに接続できるツールを使う研究クラスタでのフロンティアモデル推論を停止した。その後、限定的で安全な実行経路を比較的早く復旧させ、ワークロードごとに再開の可否を個別に判断したという。一部はそのまま再開できたが、追加の変更を要したものもあった。事案自体の技術レポートは数週間以内に公開する予定としている。
研究環境の要件を引き上げ、相当数のワークロードが止まったまま
新しいセキュリティ要件は3つ挙げられている。1つ目はワークロード隔離で、モデルが生成したコードや信頼できないコードを実行する処理に、より強いサンドボックスを要求する。モデル出力を処理する過程で侵害され得るソフトウェアも対象に含む。2つ目はネットワーク隔離で、1つのワークロードや周辺サービスが侵害されただけでは、インターネットや他の内部ネットワークへ到達できないよう制御を設計したとしている。3つ目は継続的なセキュリティテストで、脆弱になり得る共有サービスを環境から取り除き、常時付与されていた権限を削減し、セキュリティログの収集・監視を改善した。境界の検証には自社モデルを使った模擬攻撃の自動化に投資しているという。
Astraおよびサイバー関連のワークロードには、現在この中でも最も厳格な水準が適用されている。Astraの訓練・評価の一部は新しい要件を満たしているものの、相当数のワークロードは移行と機能強化が完了するまで停止したままだ。移行の優先順位は安全性・アラインメント関連の処理に置かれている。OpenAIはこの一連の対応について、多大なエンジニアリング作業を要し、フロンティア研究に大きなコストと遅延が生じたと認めている。
全トークンを見る分類器と、30分で止める運用
監視の仕組みも作り替えられた。新しい体制は多段構成で、入り口はアクティベーション分類器――モデルの内部活動を検査する検出器――が担い、サンプリングされたトークンごとに動く。疑わしい兆候は、より高度で計算量の大きい自動調査システムへ順に引き上げられる。調査側はツールの操作、参照可能な推論内容、活動の全系列を対象に、不正アクセス、データ窃取、破壊的な挙動、セーフガードの回避企図を調べる。
アラートの発行目標は、懸念のある活動が浮上してから30分以内。重要なセキュリティ境界の侵害が疑われる場合は最優先アラートとなり、安全・セキュリティ・研究の各チームが呼び出される。そこから30分以内に誤検知だと確定できなければ、その処理を停止することが求められる。この監視は、Sol世代以上の能力を持つモデルがツールを使うRL訓練と評価のすべてで必須とされ、8月7日以降はAstraについてのみ、訓練・評価に限らずツールを伴う推論全般へ適用範囲が広げられた。
コストも数字で示された。監視のオーバーヘッドは、監視対象となる推論計算のおよそ20%というのがOpenAI自身の現時点の見積もりで、訓練・評価の内容によって幅は大きいとしている。8月7日の公表時点では思考過程（Chain of Thought）の監視を導入したという説明にとどまっていたが、今回は検査の段構成と発動条件、そして計算資源の実費まで踏み込んだ形になる。
Preparedness Frameworkを訓練段階まで広げる
Preparedness Frameworkは、モデルの危険な能力を区分で評価し、高い区分に達した場合は緩和策なしに展開しないと定めた枠組みで、これまで主に外部提供するモデルの出荷判断に使われてきた。今回OpenAIは、現行の枠組みを土台にしつつ「それを超える、より広いアプローチが必要だ」と述べ、訓練と展開の両方をまたぐ形へ改訂する方針を示した。判断のタイミングが、出荷するモデルから、社内で訓練している最中のモデルへ前倒しされることになる。自社のRL訓練を止めたという今回の措置は、その前倒しを実際に適用した事例にあたる。
アラインメント面では、最も能力の高いモデルのRL runについて、訓練のより多くの段階に中核的な手法を適用するとしている。具体的には、安全でない挙動を検知・抑制できるよう報酬モデルを改善すること、自らの行動・能力・限界について正直に述べるようモデルを訓練すること、報酬や採点器、ツール、監督の弱点を突く挙動（reward hacking）を減らすことが挙げられた。モデルが外部のシステムや資源とやり取りする際に害を生じ得る挙動についても、訓練でカバーする範囲を広げるという。
なお、企業が生成AIを利用する側で向き合うセキュリティ上のリスクについては、別記事「生成AIのセキュリティリスクと企業の対策」で整理している。
OpenAIは、Hugging Faceインシデントの技術レポートを数週間以内に、新しい監視システムの詳細を別途ブログ記事として公開するとしている。Preparedness Frameworkの改訂にあたっては外部組織を関与させる意向も示した。
