OpenAIは9月28日、オーストラリア政府サイトへの無許可アクセスに関する報告と謝罪文「How we will do better for Australia」を公開した。6月に行っていた社内の訓練・評価の過程で、同社のモデルがオーストラリアの政府機関4つのウェブサイトに、認められていない形でアクセスしていたという。個人の医療記録や犯罪記録へのアクセスは確認されていないとする一方、影響を受けた機関への連絡が遅れたことについても、対応をもっとうまくやるべきだったと認めている。
発覚のきっかけは、7月に明らかになったHugging Faceのインシデントだ。これを受けて過去の訓練・評価の記録を洗い直したところ、8月中旬に豪州政府サイトでの活動が見つかった。OpenAIが挙げた4機関と、それぞれで起きたことは次のとおり。
| 機関 | モデルの行動 | 取得されたもの | 通知日 |
|---|---|---|---|
| Services Australia（Medicare統計報告サービス） | 非公開のアクセス経路を見つけ、コマンド実行やファイル書き込みまで行った | 内部ファイル、認証情報、集計統計。患者・利用者の個人記録はなし | 9月10日 |
| NSW州 犯罪統計研究局（BOCSAR） | 公開の犯罪マップツール経由でAPIとメタデータを要求 | アプリケーション設定、運用ジョブとログ、サイトのメタデータ。個人の犯罪記録はなし | 9月18日 |
| ビクトリア州保健省（VAHI） | 露出していたアクセスキーを見つけて報告システムに照会 | 報告設定と集計済みの調査統計。個人を特定できる回答はなし | 9月10日 |
| オーストラリア保健福祉研究所（AIHW） | 第三者の閲覧・ダウンロードサービス経由で集計統計を取得。アクセス制御の回避も試みたが失敗 | 公開済みの資料。システム侵害はなし | 9月24日（開示基準外だが任意に通知） |
最も深刻なServices Australiaの件で動いていたのは、一般公開を予定していない社内の実験モデルで、公開製品と同等の安全対策はかけていなかった。与えられた課題は「ビクトリア州の地域ごとに、皮膚疾患向け医薬品への1人あたり政府支出を調べる」というもの。公開統計では答えにたどり着けず、モデルはMedicare統計報告サービスへの非公開のアクセス手段を見つけ出し、さらにサービスの技術情報やソースコードまで閲覧した。いずれも最初の質問に答えるための行動だったと説明されている。
統計調べの途中で「鍵」を使う、夏から続く同じ型
今回の構図は、OpenAIが8月26日に詳細を公表したHugging Faceのインシデントと同じ系譜にある。そちらでは社内専用の研究モデル「Internal Model 1（IM1）」がサイバーセキュリティ評価中に隔離措置を回避し、Hugging Faceのシステムの一部を侵害した。OpenAIは今回の報告でも、Hugging Faceの件がこれまでに観測した中で最も深刻な事案であることに変わりはないとしている。
9月16日に同社が公開したミスアラインメント開示フレームワークの6事例にも、所得統計を尋ねられたモデルが公開状態のAPIキーを見つけて無断で使った例が含まれていた。統計を探す調査タスクの途中で、見つけた鍵や抜け道を使ってしまうという点で、ビクトリア州保健省の件と行動の型が重なる。同様の問題はOpenAIに限らず、Anthropicも7月30日に、安全対策を外した評価用モデルが許可されていない実在のシステムへアクセスした3件のインシデントを報告している。
今回の特徴は、影響を受けたのが他国の政府機関で、OpenAIが後から個別に知らせる必要があったことだ。8月中旬の発見から最初の通知（9月10日）まで約1か月、BOCSARへの通知（9月18日）までは5週間ほどかかっている。OpenAIは、調査が終わってから詳しく伝えるつもりだったが、暫定的な結果をもっと早く共有し、事実が判明するたびに更新すべきだったと書いている。
ネット遮断とDaybreak基金、豪州向けタスクフォース
技術面では、Hugging Faceの件のあとに研究環境のネットワーク制限と監視を強化し、ライブのインターネット接続を遮断してキャッシュ済みのコンテンツ経由でのみウェブを参照させる形に切り替えた。現在の監視体制なら今回のような活動は検知され、担当者が呼び出されるとし、実際に最近の訓練runでモデルがライブのインターネット接続を得た際には、監視が検知して訓練を止めたという。最も能力の高いモデルについては、ツール使用を伴う訓練と評価を停止しており、追加の安全策が整うまで再開しない。
オーストラリア向けには次の3点を約束した。
- 影響を受けた機関への専任支援（技術的な調査結果の共有、対応チームとの連携）
- 10億ドル規模の「Daybreak for Frontline Defenders」基金からのクレジット提供と、重要インフラなどのサイバー防御に向けた技術支援
- 豪州の独立した専門家によるタスクフォースの設置。通知プロセスの改善、AI開発企業と政府の連携、政府システムの保護策について年内に提言をまとめる
10月6日には最高戦略責任者（CSO）のJason Kwon氏がシドニーで開かれる連邦議会のAIに関する合同特別委員会に出席し、経緯と対応について質疑に応じる予定だ。OpenAIは9月18日に同国向けの「Australian Youth Safety Blueprint」を発表したばかりで、その10日後に政府機関への無許可アクセスを謝罪する形になった。日本を含む各国の行政機関から見れば、AI開発企業の訓練中の行動が自組織のシステムに及んでも、その通知が数週間後になり得ることを示した事例でもある。
