OpenAIは11月19日、ChatGPTの性能劣化をCodexのエージェントが自動で調査・修正する社内システム「Performance Factory」の仕組みをエンジニアリングブログで公開した。最初に稼働させた「Regression Workflow」は約3か月で1,700件超の調査を追跡し、600件以上で根本原因を特定したという。1日あたり17件の自動調査に相当する。
Regression Workflowでは、性能アラートが発火するとタスクが作られ、エージェントが原因調査、修正案の作成、デプロイ後の回復確認までを受け持つ。人間のエンジニアが担うのは、エージェントが出したプルリクエストのレビューとデプロイの判断だ。調査では、アラートの閾値を超える前の時点まで遡って劣化の始点を探し、同種のリクエスト自体が遅くなったのか、もともと遅いリクエストが増えただけなのかを切り分けたうえで、デプロイやフィーチャーフラグの変更履歴とコードを照合する。性能チームの調査手順は「perf-forensics」というスキルにまとめられ、30以上ある社内の性能ツールの使いどころをCodexに教えている。
システムは、状態遷移と各段階のプロンプトをMarkdownで定義するタスクサービス、準備ができたタスクにエージェントを割り当てるディスパッチループ、社内ネットワーク上でCodexを動かすAPI、GitHubのレビューコメントやデプロイ完了を待ち受けてエージェントを再開させるサブスクリプションの4つで構成される。エージェントはサービス用のIDで動き、権限の範囲と操作の出どころを追跡できるようにしている。
精度面の数字も示されている。根本原因の推定100件を人手で採点したところ、正確と判断できたのは70%で、残り30%は詰めが甘いか因果関係を確立できていなかった。最初の妥当な説明で調査を打ち切る傾向があったため、別のCodexセッションが診断の反証を試みる「敵対的レビュー」を追加した。画像ダウンロードのエラーを原因と結論づけた調査で、関係する内部サービスがすでに回復しているのに失敗が続いている矛盾をレビュー側が見つけ、調査を差し戻した例が紹介されている。OpenAIは原因特定よりも修正のほうが難しいとしており、修正案が必要以上に複雑になったり新たな問題を持ち込んだりするケースがあるため、修正案にも同じ反証レビューをかけている。
これまでOpenAIがCodexについて語ってきたのは、開発者がタスクを渡して結果を受け取る使い方が中心だった。今回の事例は、アラートを起点にエージェントが自律的に動き、人間はレビューとマージの判断だけに関わる運用を本番サービスで回している点が異なる。perf-forensicsのような手順書をスキルとして持たせる方法や、過去の障害をテストケースにしてスキル変更やモデル更新の影響を事前に測る方法は、一般向けのCodexでも同じ考え方で組める。ただし、正答率70%という数字が示すとおり、現時点では修正のマージを人間が判断する前提が外れておらず、OpenAIも低リスクな修正を人手なしで出荷する仕組みは「検討中」の段階としている。




