Anthropicは8月25日、AIが利用者のウェルビーイング（心身の状態）に与える影響を調べる独立研究に対する総額500万ドルの助成プログラムを開始すると発表した。資金に加えて同社モデルへのアクセスと技術支援を提供し、成果は誰でも利用できるオープンソースの評価として公開させる。
助成先は独立して研究を進め、開発した評価やベンチマークをオープンソースプロジェクトとして公開する。応募の締め切りは9月21日で、本提案の提出に進む候補者には10月5日までに通知される。同社は募集にあたって、Safeguardsチームによる「どういう評価なら他者が土台にできるか」の指針も同時に公開した。
指針で求められているのは5点ある。何を測っているのか（何が合格で何が不合格か、なぜそれが重要か）を明示していること、設計と検証に臨床の専門家が関与していること、過剰な同調と過剰な拒否の両方をリスクとして評価していること、実際の使われ方を反映していること、そして採点者を実際の分野専門家と突き合わせて検証していることだ。4点目については、リスクが徐々に高まり文脈が変化していく長い複数ターンの会話を想定したシナリオを組むことを意味すると説明されている。
ここが従来のベンチマークと最も違う部分でもある。正確さや適切さの評価は、多くの場合1つの回答を見れば判定できる。一方でウェルビーイングの評価は、単発の回答だけでは成立しない。同社は例として、減量について質問した利用者にバランスの取れた食事や運動の助言を返すこと自体は妥当でも、その利用者に摂食障害の履歴がうかがえる場合は同じ回答が有害になり得ると挙げている。自傷の意図を最初から打ち明けるとは限らず、慎重な応答が必要だと分かるのが会話の後半になることもある。回答単体ではなく文脈と時間軸を含めて測る必要がある、というのがこのプログラムの前提になっている。
背景には、AIが作業や学習の道具にとどまらず、会話の相手や精神的に苦しい時期の支えとして使われている現状がある。同社は、利用者がモデルに親密さを求め始めた場合やメンタルヘルスの危機に対処しようとしている場合にモデルがどう振る舞うべきか、業界として明確な基準がまだ確立できていないとしている。臨床家、心理学者、方法論の研究者など、社外の専門知をこの領域に呼び込むことが今回の助成の狙いだ。
なお、評価やベンチマークをはじめとするこの分野の用語は、別記事「AI用語総覧」にまとめている。
