OpenAIは7月15日、モデルの脆弱性を自動的に発見する内部専用のレッドチーミングAI「GPT-Red」を発表した。GPT-Redが見つけた攻撃パターンを学習に組み込むことで、最新モデル「GPT-5.6 Sol」のプロンプトインジェクション耐性を大幅に高めたとしている。
GPT-Redはセルフプレイ強化学習で訓練された。攻撃側のGPT-Redと多様な防御側モデル群を同時に学習させ、GPT-Redは有効な攻撃を成功させると報酬を得る一方、防御側は攻撃を退けて元のタスクを完遂すると報酬を得る仕組みだ。防御側が強くなるほどGPT-Redはより巧妙な攻撃を編み出す必要に迫られ、OpenAIは同社の大規模なポストトレーニング実行に匹敵する計算資源をこの訓練だけに投じたとしている。
効果は数値で示されている。人間のレッドチームとの比較実験(Dziemianらによる間接的プロンプトインジェクション環境の再現)では、GPT-5.1に対する攻撃成功率がGPT-Redで84%だったのに対し、人間の担当者は13%にとどまった。4カ月前の主力モデルと比べ、GPT-5.6 Solは同社が最難関とする直接的プロンプトインジェクションのベンチマークで失敗率が6分の1に減少し、GPT-Red自身の攻撃に対する失敗率も0.05%まで下がったという。過去に見つかった「偽の思考連鎖」型攻撃も、GPT-5.1では成功率95%に達していたが、GPT-5.6 Solでは10%を下回っている。
自動販売機とCodexエージェントへの実地攻撃
GPT-Redの実力は、実際に稼働するエージェントへの攻撃でも確認された。Andon Labs製のAI駆動自動販売機(社内実験「Project Vend」に類似)に対しては、高額商品の価格を最低額の0.50ドルに書き換える、100ドル超の商品を0.50ドルで発注させる、他の顧客の注文をキャンセルするという3つの悪意ある目標をすべて達成した。OpenAIはこの脆弱性を開示済みで、対策を検証中としている。GPT-5.4 miniベースのCodex CLIエージェントを対象にしたデータ持ち出しシナリオ10件のテストでも、プロンプトで指示しただけのGPT-5.5より高い成功率、かつ少ないトークン数で攻撃を成功させたという。
GPT-RedはGPT-5.3以降の各モデルの訓練に段階的に組み込まれてきたといい、OpenAIは今週中に詳細な技術論文を公開する予定としている。なお、GPT-Red自体は攻撃能力の悪用を防ぐため一般提供はせず、社内利用にとどめるとしている。
