ホーム / ニュース / OpenAI、AI生成画像も判別するCSAM検出分類器を無償提供 ChatGPTには警告と24時間の利用停止を導入

OpenAI、AI生成画像も判別するCSAM検出分類器を無償提供 ChatGPTには警告と24時間の利用停止を導入

OpenAIは11月16日、児童性的虐待コンテンツ(CSAM)への対策として、CSAMを検出する新しい画像分類器の提供、ChatGPTでの警告表示、開発者向けガイダンス、捜査機関向けツールをまとめて発表した。分類器は審査を通った組織に、OpenAI APIを通じて無償で提供する。

分類器は画像に含まれる虐待の視覚的な特徴を見て、過去に確認されたことのない新しい画像も検出対象にする。結果はスコアで返し、審査担当者がどの画像から確認すべきかの優先順位づけに使う。米国の全米行方不明・被搾取児童センター(NCMEC)の協力を得て学習・評価しており、OpenAIによれば、広く利用できるCSAM分類器としては初めて、AIで生成された可能性を示す専用の信号を備える。社内の評価では、現行の仕組みと比べて検出数をほぼ維持したまま、フラグを立てる画像を48%減らせると見積もった。フラグが立った画像に実際に虐待が含まれる割合は約2倍になる。先行利用した企業の検証では、falで信頼度の高いフラグの72%が新規のCSAMと確認され、SafetyKitでは子どもを性的に描いたイラストやアニメーションの90%を検出し、合法な成人向けコンテンツの誤検出は1%未満だった。

ChatGPTでは、虐待コンテンツを探そうとする利用者に、AI生成であっても子どもを性的に扱うことは害になると警告し、支援窓口を案内する。該当する会話は削除され、ChatGPTの利用は24時間停止される。違反を繰り返した場合は制限が長くなり、アカウント閉鎖や当局への通報に至ることもある。開発者向けにはTech Coalition、Thorn、NCMEC、Internet Watch Foundationの意見を取り入れたCSAM対策ガイダンスを公開し、捜査機関向けには長いチャットログや法的開示資料を整理し時系列を作るツールと研修を用意する。

従来のCSAM検出は、既知の画像のハッシュ値と照合する方式が中心で、新たに作られた画像は登録されるまで検出できなかった。画像生成AIの普及で、既存のハッシュ照合では拾えない画像が増えていることが、分類器方式を広く配る背景にある。SafetyKitも、ハッシュ照合が見逃す未知のCSAMを捉えられる点を評価している。OpenAIは8月に、ゼロデータ保持(ZDR)を維持したまま安全監視を行う「Private Safety Processing」を発表した際も、CSAMの疑いでフラグが立った画像は法令上の報告義務があるためZDR環境でも保持すると説明していた。今回の分類器は、同社が自社サービス向けに運用してきた検出の仕組みを、外部の事業者でも使える形にしたものになる。

タグ付け処理あり: