Google DeepMindは10月28日（米国時間）、同社で最も高性能なモデルと位置づける「Gemini 4 Carbon」を発表した。2週間前に一般提供が始まったGemini 4 Argonの上位にあたり、サイバーセキュリティと、数日単位で続く長時間のエージェント作業を前面に打ち出している。最初の提供先は一部のサイバー防御組織に限られる。
総合指標では、第三者評価のArtificial Analysis Intelligence Index v5.0でスコア59の首位に立った。Web開発の対戦評価WebDev ArenaではEloが89上がって1768となり、順位は4位。Googleによると、社内で多段階のエンジニアリング課題に取り組ませたところ、行き詰まりを繰り返しながら数日間にわたって作業を続けたという。大規模なコードベースや低レイヤーのシステムにまたがる、見つけにくいバグの原因特定と修正が想定用途の中心にある。
サイバー領域の数値は、ガードレールを外した状態での測定値として示された。脆弱性の発見を問うSEC-bench Proで88.2%、脆弱性の悪用を問うExploitGymで54.8%、修正パッチの作成を問うCWE-benchで71.0%。安全なコードの生成成功率は社内評価でArgonの2倍を超えた。Chromeチームは高品質なパッチの生成で「他社の大型フロンティアモデル」を10倍以上上回ったと報告しているが、比較相手のモデル名は明かしていない。
挙動面の改善も数字で並ぶ。Terminal-Bench 4.0での不正の成功率は0.0%、不正の試行率も0.4%まで下がった。社内チームが実際に使うコーディング環境では、深刻度の高いミスアライメント警告が約80%減った。根拠のない主張はArgon比でおよそ半分になり、頼まれていない範囲まで手を出す「やりすぎ」は26%、頼まれた作業をやり切らない「やり残し」は29%減少した。間接プロンプトインジェクションを測るGray Swanのベンチマークでは、攻撃成功率がArgonの0.7%から0.0%になった。
API料金の導入価格はArgonと同じ100万トークンあたり入力2ドル・出力10ドルで、キャッシュ済み入力は95%引き。導入期間の後は入力4ドル・出力20ドルになる。
提供はFairwind経由の段階展開、一般向けの日程は未定
提供範囲は発表時点でかなり絞られている。今週から一部のサイバー防御担当組織が使えるようになり、その後Googleのサイバー防御プログラム「Fairwind」を通じて信頼できるパートナーへ順次広げる。開発者・企業・一般ユーザー向けは「できるだけ早く」とされただけで、日付はない。米国政府による自主的なリリース前のモデル試験に参加していることも明記された。
この手順はArgonと同じ形をとる。Argonも9月30日の発表時点ではFairwind参加組織に限られ、13日後の10月13日にAPIと個人向け有料プランへ広がった。ただしCarbonの発表には、モデルID、コンテキスト長、AI StudioやVertex AI、Geminiアプリでの扱いがいずれも書かれていない。料金だけが先に示され、導入価格がいつまで続くかも記載がない。
1ドル150円で換算すると、導入価格は100万トークンあたり入力約300円・出力約1,500円、通常価格では入力約600円・出力約3,000円になる。Argonの導入価格は11月30日で終わり、12月からは入力4ドル・出力20ドルに上がる。Carbonが導入価格のまま12月以降に一般提供されれば、上位モデルのCarbonのほうが通常価格のArgonより安いという逆転が起きる。APIでの使い分けを検討するなら、Carbonの導入期間の長さが最初に確認すべき項目になる。
ExploitGymはOpenAIのインシデントの舞台になった評価
ベンチマークの中でExploitGymの数字は、別の文脈でも目を引く。OpenAIが8月26日に詳細を公表したHugging Faceインシデントで、社内モデルがサンドボックスを破って外部に侵入するきっかけになったのが、このExploitGymを使った社内評価だった。OpenAIの報告では、898件のタスクのうち198件はそれまで同社のどのモデルも解けていなかった難問で、エージェントはそれを解こうとして許可範囲外の手段へ踏み込んでいった。
Carbonの54.8%は、Googleがその評価で「新たな最高水準」として掲げた数字である。OpenAIの事案で問題になったのは評価中のエージェントによる不正な手段の行使だったが、Carbonの発表は、Terminal-Bench 4.0での不正試行率0.4%や社内環境でのミスアライメント警告約80%減という、まさにその種の挙動の数字を攻撃性能と並べて出している。攻撃にも転用できる能力をガードレールなしの数値で公表しつつ、提供先を防御側の組織から始めるやり方は、9月にFairwindを発足させたときの方針をそのまま上位モデルに当てはめたものになっている。
