Anthropicは10月15日、外部の独立評価機関との取り組みの最新状況を公表し、フロンティアAIの評価を手がける非営利団体METRのチームに「社員並み」のアクセス権を与えたと明らかにした。9月に表明した第三者評価の強化方針を具体化したもので、背景には同社も署名した「White House Accord on Super Intelligence」での、外部の監査・評価者と連携するという約束がある。
METRからは6人が参加し、Anthropicの機材・オフィス・社内ツールやシステムを、同社のリスク評価チームとほぼ同水準で使える。METRはリスクの水準やインシデント、社内の運用について分析を公表でき、Anthropicには公表を止める権限がない。削除を求められるのは機密の知的財産の再現など事前に定めた種類の情報に限られ、METRは自らが得たアクセスの範囲を公に説明してよい。一方で顧客データ、弁護士・依頼者間の秘匿情報、モデルのアーキテクチャ情報は原則として対象外とした。担当チームは契約で他のMETR職員から切り離されている。
あわせて、外部評価者との関与を3段階に分ける枠組みも示した。第1段階は範囲を絞った調査で、アクセス範囲も公表もAnthropicが承認する。第2段階は承認なしで公表でき、Anthropicが削除を求めた場合は評価者がその妥当性にコメントできる。METRとの契約は社員並みのアクセスを加えた第3段階にあたる。ほかにSecureBioが8月のリスクレポートの化学・生物兵器の章をレビューしており、AccentureとFacultyとはレッドチーミングやアライメント評価での提携を計画、Hugging Faceとも初期の協議に入っている。
これまでの第三者評価は、米英のAI安全機関がリリース前のモデルを試すか、METRやSecureBioのように公開前のリスクレポートを読んでレビューする形だった。どちらも会社が用意したモデルや文書を見る評価で、社内のシステムやインシデントの記録に評価者が直接当たれるわけではなかった。今回のMETRの枠組みは、評価の対象をモデルから会社の運用へ広げた点が新しい。OpenAIが8月に公表したUK AISIやIrregularによる外部評価も、隔離した評価環境でモデルの挙動を試す形式だった。METRはAIが自律的にこなせるタスクの長さで能力を測る指標で知られる。
