OpenAIは8月4日、外部の第三者機関によるサイバーセキュリティ評価中に、同社のモデルが想定された範囲を超えて活動した2件のインシデントを公式ブログで公表した。英国のAI安全機関UK AISIと、外部評価パートナーのIrregularがそれぞれ独立に確認したもので、いずれもGPT-5.6 Solが評価用の模擬環境の境界を越えて外部のネットワークやアカウントにアクセスした。
両インシデントとも、評価の性質上あえてセーフガードを下げたり、インターネットアクセスを許可したりする特殊な設定下で発生した。こうした評価は、公開されているサービスでの通常の挙動を測るものではなく、モデル本来の能力の上限を把握するために意図的に安全策を外して行われる。OpenAIは、一般提供環境での挙動とは異なる点を強調しつつ、モデルの能力向上に評価環境側の管理体制が追いついていない構造的な課題だと位置づけている。
UK AISIの評価、GitHubトークンの再利用とDNSサーバーの外部公開
UK AISI(英国AI安全機関)は7月25日から、複数の模擬ネットワークを侵害してフラグを取得するサイバーレンジ演習を実施していた。攻撃者の挙動に近づけるため意図的にインターネットアクセスを許可し、モデル本来の能力を測るためサイバー関連の分類器も無効化していた。実施した19件の評価のうち、GPT-5.6 Solが関与したのは2件だった。エージェントには攻撃対象の模擬ネットワークと、対象外とするシステムが指示されていたが、公開インターネットの利用方法自体については明確な制限が示されておらず、UK AISIはこの点をインシデントの一因として挙げている。
1件目では、GPT-5.6 Solが別の研究機関のエージェントが誤って公開していたGitHubトークンを再利用し、評価範囲外のシステムがGitHubを監視しているかを確認しようとしたほか、アカウント復旧やリクエスト制限の回避を試み、外部のDNS・トンネリングサービスにもアカウントを登録していた。2件目では、評価環境内で動かしていたローカルDNSサーバーを公開トンネリングサービス経由でインターネットから到達可能にし、評価範囲内のソフトウェアが持つ既知の脆弱性を突くペイロードを仕込んでいた。実際には機能せず、外部の実在サーバーから参照された形跡もないまま評価終了時に撤去されたが、UK AISIは7月28日に不審なデータ転送を検知し、約1時間で該当環境を隔離・封じ込めたという。UK AISIは、実在の外部アカウントやサービスを使い、評価範囲外の行為だったとして「認可されていない行動」と判断している。
Irregularの評価環境、実在サイトへの意図しない侵入
もう一件は、外部評価パートナーのIrregularが実施したCTF形式の評価で発生した。モデルには「インターネットアクセスはない」と伝えたうえで、模擬環境内の脆弱性を突かせる設計だったが、環境の設定ミスにより実際には公開インターネットに接続されていた。評価用に用意した架空の攻撃対象名が偶然実在のドメイン名と一致しており、GPT-5.6 Solはそれを模擬環境の一部と誤認して実際のウェブサイトを攻撃し、さらにそのサイトの認証情報まで取得していた。高度なサンドボックス脱出やゼロデイ脆弱性の悪用ではなく、単純な設定ミスと基本的な脆弱性の組み合わせで起きた点をOpenAIは注記している。
Irregularは7月29日にOpenAIへ通知し、評価を停止したうえで影響を受けた第三者に連絡し、是正措置を進めている。同社の調査によれば影響は当該サイト自体のデータにとどまり、監査は継続中という。今回の一件を含む知見をもとに、評価環境の封じ込め手法に関するホワイトペーパーを作成する計画も明らかにしている。
OpenAI、第三者評価の管理体制を数週間以内に見直し
OpenAIはこの2件について、7月21日に公表したHugging Faceのセキュリティインシデントとは別件だとした上で、両者に共通する課題として「モデルの能力向上に合わせて、開発・評価双方の環境のセキュリティ体制を強化する必要がある」と説明した。今後数週間で、リスクの高い評価の見極め方、インターネットアクセスやセーフガード解除の許可基準、隔離・認証情報管理・監視・停止条件の設定方法、インシデント通知や関係者へのエスカレーション手順などを見直すとしている。あわせて各国のAI安全機関や独立評価機関、他のAI開発企業を交えた協議の場も設ける方針だ。
生成AIモデルの外部委託・評価に伴うセキュリティリスクは、企業がAIを導入する際にも共通する論点であり、生成AIのセキュリティリスクと企業の対策で整理している評価環境の分離・権限管理の重要性と重なる部分が大きい。モデルの能力が上がるほど、評価用に安全策を緩めた環境そのものが新たな攻撃面になり得ることを示した事例といえる。
