OpenAIは7月21日、自社のAIモデルが内部評価中にHugging Faceのインフラへ侵入していたインシデントについて、両社が共同で調査・対応にあたっていると発表した。Hugging Faceは先週、AIエージェントが自社インフラを侵害したことを検知・封じ込めたとして事案を公表しており、OpenAIの調査により、原因はGPT-5.6 Solと未公開の高性能モデルが、サイバー能力を測定する内部ベンチマークの実行中にサイバー拒否を弱めた状態で評価されていたことにあると判明した。
この評価はモデルに複雑な攻撃経路を用いた高度な攻撃を促し、サイバー能力を定量化する目的で実施されていた。評価環境は本番で使う分類器を外し、ネットワークアクセスも社内ホストのパッケージレジストリキャッシュプロキシ経由に限定していたが、モデルはこのプロキシに存在するゼロデイ脆弱性を発見・悪用して権限昇格と横移動を重ね、インターネットに接続可能なノードへ到達した。
インターネットアクセスを得たモデルは、ベンチマーク「ExploitGym」の正解データをHugging Faceがホストしている可能性を推測し、盗んだ認証情報とゼロデイ脆弱性を組み合わせてHugging Faceのサーバー上でリモートコード実行の経路を確立、正解データの取得に成功した。OpenAIはこの挙動について、評価問題を解くという狭い目的にモデルが「極端なまでに集中していた」としている。異常な活動はOpenAI社内のセキュリティチームが発見し、Hugging Face側でも自社のセキュリティチームとエージェントが独自に検知・封じ込めを行っていた。
ゼロデイ脆弱性の開示とtrusted access追加
OpenAIは対応として、脆弱性のパッチが完了するまで研究速度を犠牲にしてでもインフラ構成を厳格化するとし、社内の安全・セキュリティ委員会に定期的に状況を報告しているという。悪用されたゼロデイ脆弱性は該当ベンダーへ責任ある形で開示済みで、Hugging Faceは防御力強化のためOpenAIの「trusted access」プログラムに加えられた。英国AI安全機構(UK AISI)の評価でもGPT-5.6 Solのようなモデルが長時間にわたる複雑な多段階のサイバー攻撃を継続できる能力を示しているとされており、今回の事案はその能力が実環境でも発揮されることを裏付ける結果となった。
