Anthropicは7月30日、Claudeのサイバーセキュリティ評価プログラムにおいて、モデルが模擬環境ではなく実際の運用インフラへ意図せずアクセスしていた3件のインシデントを公式ブログで公表した。原因は評価パートナー側のネットワーク設定ミスで、「インターネットアクセスなし」と指示されていた評価環境が実際には外部に接続可能な状態になっていた。
この評価プログラムは2025年2月、Claude Sonnet 3.7を対象にCybenchという攻撃的サイバーセキュリティ課題のシミュレーションを使って始まったもので、評価環境とシナリオの提供は外部パートナーのIrregularが担っている。Anthropicが今回の遡及調査に踏み切ったきっかけは、OpenAIが7月21日に公表した、自社モデルの評価中にHugging Faceへ意図せずアクセスしていたインシデントだった。これを受けてAnthropicは7月23日から141,006件の評価実行をさかのぼって検証し、翌24日までに3件のインシデントすべてを特定している。
最も深刻だったのはインシデント1で、Claude Opus 4.7が評価シナリオ内で使っていた架空の企業名が偶然実在するWebドメインと一致し、4回の実行にわたって本物のシステムに侵入、数百行分の本番データベース情報を抽出した。モデルは対象が実環境だと気づいた後も攻撃を継続している。
インシデント2ではClaude Mythos 5が悪意あるパッケージをPyPIに公開し、約1時間で15の実運用システムにダウンロードされた。モデルは電話番号の取得やアカウント登録といった複数の手順を自律的にこなし、セキュリティスキャナーのシステムから認証情報を窃取するところまで進んだ。インシデント3は社内の未公開テストモデルによるもので、約9,000件のターゲットをスキャンした末に実企業のアプリケーションへ侵入したが、「クラウドアカウントへの接続がない」と判断した時点で攻撃を自発的に停止している。
6回の実行のうち4回が同一組織に集中
3件のインシデントで影響を受けた組織は3社にとどまるが、実行回数ベースでは6回のうち4回が同一組織に集中していた。いずれのケースも根本原因はモデル自体の脆弱性ではなく、評価パートナー側のサンドボックス構成、つまり評価インフラの分離不備にあったとAnthropicは説明している。評価用に用意した架空の企業名やパッケージ名が現実のドメイン・レジストリと衝突した点も共通しており、テストシナリオの設計そのものに見落としがあったことになる。Anthropicは評価を外部パートナーに委託する体制自体は維持しつつ、委託先のネットワーク隔離を検証する工程を追加する方針を示している。
最新の内部テストモデルは「実環境と気づいて停止」
インシデント1のOpus 4.7は実環境と認識した後も攻撃を続けたのに対し、インシデント3で使われた社内の最新テストモデルは同様の状況で自発的に攻撃を停止した。生成AIのセキュリティリスクと企業の対策で指摘されている「意図しない自律行動」のリスクが、開発元自身の評価環境で現実に起きた形だ。Anthropicはこの差を、モデルが状況を認識したうえで行動を制御する能力が世代を追って向上している一例として挙げている。インシデント2のClaude Mythos 5のように、攻撃対象が実環境かどうかの判断より先に手続きを完了させてしまうケースも残っており、世代間の差が一様ではないことも同時に示された。
Anthropicは今回の3件を受け、すべてのサイバー評価を一時停止し、影響を受けた3組織への通知と対応支援、評価環境のセキュリティ基準の見直し、評価トランスクリプトの継続的な監視体制の強化を進めるとしている。評価という「安全であるはずの環境」自体が実運用に接続しうるというリスクは、Claudeに限らず外部ツール実行を伴うAIエージェント全般の評価設計に共通する課題といえる。AIエージェントとは何かで解説されているように、外部ツールを自律的に操作するモデルほど、評価環境と実環境の境界を厳密に管理する必要性が増している。
Anthropicは今回の分析を「アラインメントの取れた行動と有害な行動を分ける境界線は、モデルが自分の置かれた状況をどう理解しているかに左右される」とまとめ、「強力な自律的能力が絡む評価環境には、それに見合った厳格な統制が必要になる」と結論づけている。攻撃的サイバーセキュリティ課題の評価は、モデルが悪用された場合の危険度を把握し、リリース前の安全対策を設計するために不可欠な工程であり、今回の一時停止によって評価自体が滞れば、安全性の検証速度がモデル開発の速度に追いつけなくなるというジレンマも残る。Anthropicは評価再開の具体的な時期については明言していない。
