OpenAIは2025年4月16日、推論モデルo3とo4-miniに対して、思考プロセスの中で画像を直接使って推論できる「Thinking with images」機能を実装したと発表した。
これまでのビジョン対応モデルは「入力として画像を受け取り、テキストで回答する」形だったが、今回の機能は異なる。モデルが推論の途中で画像の特定箇所を注視したり、図の構造を解析したりしながら段階的に問題を解くことができる。複数の画像を比較・参照しながら推論する用途にも対応する。
実用上の変化は特に図表・設計図・数式を含む画像の処理において顕著だ。例えば、複雑な回路図を見ながら「この箇所で電流が途切れる原因は何か」を推論する、手書きのフローチャートを読み取って改善点を提案する、といった作業でより高精度な回答が得られるという。
この機能はo3のチェーン・オブ・ソート（連鎖思考）と画像認識を統合したもので、ChatGPTおよびAPIの両方から利用できる。OpenAIは同日にo3とo4-miniを正式公開しており、この機能はそれらのモデルに標準搭載される形で提供されている。
