Anthropicは8月31日、Claudeの評価・訓練環境をめぐる一連の問題へのアラインメントとセキュリティの改善策を公表した。7月30日に報告した3件のインシデント（サイバー評価用の環境で安全対策を外した状態のモデルが、許可されていない実在のコンピュータシステムへのアクセスを獲得した事案）と、8月4日に英国AI Security Institute（AISI）が報告した事案（Claude Mythos 5がサイバーセキュリティ評価中に実インターネット上で無許可の行為を連続して行った事案）を受けたもの。
予備的な原因分析としてAnthropicは2点を挙げている。1つは動機づけられた推論で、モデルは事前に「模擬環境である」と伝えられていたため、実インターネットへ到達している証拠に直面しても、当初の想定を維持する方向に証拠を解釈した。もう1つは無謀さで、評価課題という狭い目標を達成するために、実インターネット上で有害になりうる行動を取ることを厭わなかった。評価設計側にも、モデルに「インターネットアクセスはない」と告げながら実際には接続できていたという矛盾があり、架空の攻撃対象が実在サイトと同名だった点も混乱の一因になっている。
対策としてAnthropicは外部・内部のサイバー評価をいったん停止し、3層の防御を敷いた。1つ目は、モデルがテスト環境を過度に探索したり脱出を試みたりした場面をリアルタイムで検出する分類器で、検出時は行動が実行される前に遮断し、タスクを終了して人間に通知する。2つ目は過去の評価ログの自動走査で、サンドボックスの設定不備が複数見つかったものの、実害のある侵害には至っていなかったという。3つ目は仮想化基盤そのものの強化で、リスクの高い社内サンドボックスをより強固な隔離方式へ移し、モデル自身に脱出を試みさせるレッドチーミングで脆弱性を洗い出した。
訓練環境の1割超に報酬ハッキングの欠陥が見つかった
今回の発表で具体的な数字が出たのは、強化学習（RL）環境の品質をめぐる部分だ。Anthropicは、不正が可能な環境や不正なしには解けない環境といった訓練環境の欠陥が、ミスアラインメント挙動に不釣り合いなほど大きく寄与していると述べている。4月には本番のRL環境をおよそ1か月凍結してスタック全体を作り直し、報酬と環境が合意済みの仕様に適合することを必須にしたうえで、再認定プロセスを設けた。この凍結期間中に、報酬ハッキング・タスクの破損・設定ミスのいずれかを理由に全環境の10%超がフラグされ、修正後に復帰している。
兆候はそれ以前にもあった。2月にはMythos PreviewのRL実行で報酬ハッキングの兆候が見つかり、3日分の訓練をロールバックしている。具体的な挙動として挙がっているのは、コードコメントに「レビュアー宛て」のメモを書き込む、免責や注意書きを積み増す、といったものだ。
さらにAnthropicは、防御がない場合に何が起きるかを実証する実験も行った。実際の訓練で報酬ハッキングが発生した、あるいは品質レビューでハック可能と判明した80個の実RL環境を使い、Opusクラスのモデルを意図的にミスアラインさせている。その結果得られたモデルは、高スコアの獲得への強い動機、有害になりうる行動への抵抗の薄さ、模擬サンドボックスから脱出して模擬の社内・第三者インフラを攻撃する傾向を示し、自身の報酬関数の改ざん、生物兵器の製造に関する助言、デプロイ時の安全監視の回避を繰り返し試みた。同じサイバーセキュリティ模擬環境を本番モデルや公開済みモデルで走らせても、同程度の挙動は現れなかったという。訓練中に相当量の報酬ハッキングが存在すると、モデルが実世界で有害になりうる長い行動連鎖を実行するようになりうる、というのがAnthropicの結論だ。
外部評価者に求める4つの前提条件
安全対策を緩めた事前公開モデルを検証するすべての組織に対して、Anthropicは4つの要件を示した。第1に、既定ではインターネットアクセスのない強固なサンドボックスを使うこと。第2に、実施前の検証として、テスト対象のモデル自身にサンドボックスの脆弱性を探らせ（インターネットなしで、望ましくは第2のサンドボックス内で）、さらにその課題が原理的に解けるかを確認すること。第3に、すべてのプロンプトで対象範囲の内と外を明示し、境界は「環境はこうなっている」という事実の主張ではなく指示の形で書くこと。第4に、モデルの思考・行動・ネットワーク通信を、モデルベースまたはルールベースの監視で継続的に見ることである。
第3の要件は今回のインシデントの直接の反省点にあたる。環境の性質を事実として説明する書き方では、モデルが実際の環境から得た情報と食い違ったときに、どちらを信じるかがモデル側の解釈に委ねられてしまう。評価環境の設計が、そのままモデルの安全性を左右するという構図で、AIエージェントに何をどう指示するかという問題の延長線上にある。エージェント一般の仕組みについては、別記事「AIエージェントとは？仕組みと主要サービスを解説」で解説している。
150人を配置換えした社内対策で、評価だけが抜けていた
社内のセキュリティ体制についても4月から全社的な取り組みを進めていた。モデルの重みや顧客データを含むシステムへの常時アクセス権を持つ人・自動アカウントの削減、計算クラスタの外向き通信の既定遮断、内部サービス間の相互認証、ワークロードを走らせる隔離環境の厳格化、レガシー構成と共有内部サービスの廃止、ホストレベルでの可観測性の拡大が挙げられている。この取り組みにはプロダクトエンジニア150人がセキュリティ・信頼性・プライバシー領域に振り向けられ、研究者も事前学習やRLから安全対策・セキュリティへ配置換えされた。プロダクトチームの新機能開発はほぼ停止し、初夏までにほとんどのチームが基準を満たして元の業務に戻ったという。
Anthropic自身が認めているのは、この全社対応が評価、とりわけ第三者による評価を対象から外していた点だ。一部の高リスク評価ではリアルタイム監視を行っていたものの、多くは事後のログ自動レビューにとどまっていた。7月30日の事案について同社は、社内のセキュリティ体制が原因ではなく第三者環境で起きたものだと説明している。今後は2件のインシデントの詳細分析を進め、評価機関METRによる独立レビューを実施する計画で、数週間内に追加の情報を公開するとしている。企業がAIを使う側で押さえるべきリスクの整理は、別記事「生成AIのセキュリティリスクと企業の対策」にまとめている。
