OpenAIは10月22日、アプリケーションやエージェントが処理の途中で行う小さな判断に特化した「Decisions API」の一般提供を開始した。GPT-6 Lunaをベースに、答えの範囲があらかじめ決まっている問いだけを扱うことで、Responses API経由でGPT-6 Lunaを呼ぶ場合と比べて最大10倍速く判定を返すという。
使い方は、問いと許される答えを定義し、判断材料をテキスト・画像・JSONで渡すだけだ。返り値は3種類あり、条件が真である確率を0〜1で返す「predicate」、用意した選択肢から1つを選び確率と確信度を添える「choice」、段階評価のルーブリックに沿って確率加重のスコアを返す「score」から選ぶ。パブリックベータからの変更点として、音声対話モデルGPT-Liveとのネイティブ連携、プロンプトキャッシュ、米国・EUでの推論処理の選択、1リクエストあたりの問いの上限を200から400への倍増が加わった。料金は入力100万トークンあたり0.10ドル（1ドル150円換算で約15円）、キャッシュ済み入力は0.01ドルで、出力トークンには課金しない。
GPT-Live連携では、会話の文字起こしが更新されるたびに判定を走らせる設定をセッションに足せる。OpenAIは、ユーザーの発言に合わせてアバターの表情を切り替えるデモや、サポート窓口で「聞き返す・振り分ける・エスカレーションする」を選ぶ使い方を例に挙げている。導入企業としてはBox、Datadog、Ramp、Sierra、Speakが紹介され、Boxは保険証明書30件の振り分けで、Responses APIと同じ精度のまま約5倍速くなったとしている。
これまで同じ処理をLLMでやる場合は、Responses APIに構造化出力（JSONスキーマ）を指定してラベルを生成させるのが一般的で、生成した出力トークンにも料金がかかっていた。Decisions APIは答えを文章として生成させず確率として返すため、出力課金がなくなるだけでなく、「確信度が一定以下なら人の確認に回す」といったしきい値設計をアプリ側で組みやすい。Boxの事例も、確信度の低い書類をレビュー担当に回す運用だ。一方で自由記述の回答や要約はできないため、エージェント全体を置き換えるものではなく、ワークフロー内の分岐判定をGPT-6 Luna本体から切り出す部品という位置づけになる。
