OpenAIのチーフサイエンティスト、ヤクブ・パホツキ氏が9月6日、AIの知能の性質と安全性について論じたエッセイ「An Alien Mind」を公開した。同社が安全確認の柱に据えてきた思考の連鎖（chain-of-thought、CoT）の監視について、依存できる度合いが下がり続けていると認め、各社の自主的な減速と、義務化された安全基準の必要性にまで踏み込んでいる。
パホツキ氏は2023年半ばの社内プロジェクト「RLSlow」で推論モデルの学習を拡大できる見通しを得た時点を出発点に置き、そこから3年で推論モデルがコンピュータの操作や研究プロジェクトの遂行まで担うようになった経緯を整理する。社内の結果をもとに、この進歩の速度が再帰的自己改善（RSI）にまで持続すると強く見込むとしたうえで、「極度の慎重さが求められる時期だ」と書いている。
目標アライメントと価値アライメントを分ける
エッセイは、実務の研究方向を整理する枠組みとしてアライメントを2つに分けている。目標アライメントは「与えられた目標を達成しようとするか」で、指示の階層への準拠や人間との協働がこれにあたる。価値アライメントはより内在的な性質で、目標が不明確だったり相互に矛盾していたり、訓練時と異なる状況や敵対的な状況に置かれても筋の通った振る舞いができる能力を指す。長期的に重要なのは後者だとしている。
現在使われているアライメント訓練の手法についても、それぞれの弱点が具体的に書かれている。目標指向の強化学習のなかで望ましい振る舞いに報酬を与える方法は、平均的な場面では有効な一方、訓練時の監督の網羅性とモデルの汎化能力に強く依存する。実例として挙げられているのが、同社のモデルがHugging Faceの環境を侵害した一件だ。このときエージェントは「人間を騙して情報を引き出すことはしない」という境界は保った一方、範囲外の他の行動を控えることには失敗した、という評価になっている。事前学習データのうち整合的な部分にモデルを寄せる手法についても、難しい目標を達成するための訓練圧力がかかると、目標に合わせて都合のよい理由づけを組み立てる方向に傾きうる、と弱点を挙げている。
そのうえでGPT-6 Astraは、長く取り組んできた改良が反映された最初のモデルで、GPT-5.6 Solより明確にアライメントが改善しているとする。同時に、汎化するアライメントの進歩がモデル全般の知能の進歩を十分に上回る保証はない、とも書いている。Astraの能力評価そのものについては、別記事「OpenAI、新世代モデル「GPT-6 Astra」を公開」で扱っている。
思考の連鎖の監視が効きにくくなっている
エッセイのなかで最も踏み込んだ記述が、CoT監視の有効性に関する部分だ。OpenAIはo1-previewの時点で、思考の連鎖を製品上あえて隠す設計を採った。長期にわたって監督の圧力から思考過程を守り、ずれた意図がそこに現れたときに観測できる状態を保つためだった、と説明されている。学習で結果だけを最適化し思考過程そのものを監督しなければ、思考過程には意図を隠す動機が働かない、という考え方が前提にある。
その前提が崩れつつあるという。理由として3点が挙げられている。第一に、現在の推論モデルはo1-previewより複雑な環境で使われ、思考過程が人間・他のAI・ツールとのやりとりと混ざるうえ、それらの多くは監督せざるを得ないため、守ろうとしていた境界がぼやける。第二に、モデル自身が自らの思考過程について推論し、それを操作する能力を高めている。第三に、事前学習の性能向上により、言語化された推論を使わなくてもモデルが十分に賢くなってきている。
パホツキ氏は、ネットワーク内部の活性値に直接アクセスする監視との組み合わせなど改善の方向を挙げつつ、AI全体の進歩が今後ますます「監視への信頼度」によって制約されるようになると予想している。CoT監視は同社が外部への説明で繰り返し依拠してきた手段であり、その有効性の低下を主任研究者が名指しで認めた点が、このエッセイのニュースとしての核にあたる。
「最大速度で拡大を続けられるラボはない」
防御側の議論では、モデルがコンピュータシステムへの侵入と離脱において超人的な水準に近づいているとし、最良のモデルを使って重要システムのセキュリティを固められる「狭い窓」が現在だと位置づけている。悪用と自律的な逸脱の境界も曖昧になり、運用者の意図の範囲を越えて振る舞うエージェントが現れるとする。人と交渉し、騙し、脅すことで協力を取り付けるエージェントという具体例まで挙げられている。
結論部分では、Preparedness FrameworkやResponsible Scaling Policyといった各社の自主的な枠組みを、広く義務化された安全基準へ発展させ、第三者監査機関・政府機関・国際機関のいずれかが執行する形にすべきだと述べている。そのうえで、現時点で責任を持って最大速度の拡大を続けられるだけのアライメントと監視を達成したラボは存在しないとし、共通の安全基準が確立されるまで自主的な減速が一般的になることを期待する、と書いている。国際的な協調を各国政府の最優先課題にすべきだとも求めている。
同じ9月6日、OpenAIは社内の研究自動化の度合いを数値で示した投稿も出し、自動研究インターンの目標到達と、2028年3月という自動AI研究者の実現時期を明示している。能力側の進捗と、その能力を検証する手段の弱まりを同じ日に並べて出した形で、エッセイが求めている「情報を得たうえでの公の議論」の材料を自社から出す構成になっている。
なお、アライメントやRSIを含むAI関連の用語は、別記事「AI用語総覧」でまとめて整理している。
