NVIDIAは8月24日、米カリフォルニア州パロアルトで開かれた半導体カンファレンス「Hot Chips」に合わせ、次世代のAI基盤「Vera Rubin NVL72」が本格生産に入ったと明らかにした。あわせて推論専用アクセラレータ「Groq 3 LPX」の量産開始も公表しており、GPUだけで推論を担ってきたラック構成に、専用チップを併設する形へ踏み込む。
Vera Rubin NVL72は、Vera CPU、Rubin GPU、Groq 3 LPU、第6世代NVLink Switch、BlueField-4 DPU、Spectrum-6 SPX、ConnectX-9 SuperNICという7種類のチップを、1本のラックとしてまとめて設計したもの。NVIDIAはこれを「AIファクトリー」と呼び、単体チップの性能ではなくラック単位のスループットで性能を提示している。
その中心に置かれた数字が、前世代のGB300 NVL72との比較だ。エージェント型ワークロードにおいて1メガワットあたりのスループットが30倍、トークンあたりのコストは35分の1になるとしている。測定にはSemiAnalysisの「AgentX」ワークロードを使ったとされ、実際のコーディングセッションを記録し、コンテキストの増大やツール呼び出し、サブエージェントの生成まで再現したベンチマークだという。ただしNVIDIA自身が、この結果は「SemiAnalysisによるレビュー待ち」だと注記している。
効率を稼ぐ手段として挙げられているのは、prefillとdecodeを別のGPUに分ける分散サービング、混合エキスパートモデル向けの大規模なエキスパート並列、KVキャッシュの分散とオフロード、重複計算を減らすKVキャッシュ対応ルーティング、MegaMoEと呼ぶ融合CUDAカーネル、そして4ビット精度のNVFP4量子化。第5世代Tensorコアと第3世代Transformer Engineの強化も加わる。同社はまた、DSX MaxLPSによって同じメガワット枠に最大40%多くのGPUを収容できるとしている。
Groq買収の中身が製品として出てきた
今回の発表でもっとも実体を伴うのは、Groq 3 LPXがフル生産に入ったことだ。Gemma 4 31Bで毎秒3,400トークンの出力、10万トークン級の長文コンテキストでは最も近い対抗製品の4倍の速度をうたう。ラック規模では最大256基のアクセラレータを収容し、Vera Rubin NVL72が長いコンテキストの処理を担い、LPXが低遅延のトークン生成を担当する分業になる。
製品名にGroqが入っているとおり、この技術はNVIDIAの内製ではない。NVIDIAは2025年12月、推論チップの設計会社Groqに約200億ドルを投じ、IPのライセンス取得とチーム大半の受け入れを行っている。同社の取引としては過去最大規模で、GPUを積み増して推論性能を伸ばしてきた従来路線に、「デコード専用の別チップを隣のラックに置く」という設計を持ち込んだ。3月のGTCで予告された構想が、量産に到達したことになる。
採用の第一号として、AIクラウドのNebiusがGroq 3 LPXを自社のToken Factoryに導入すると表明した。CoreWeaveはVera Rubinラック間の接続にSpectrum-X Multiplaneを本番環境で稼働させているという。SpaceXAIは地上のデータセンターと軌道上の衛星の両方への展開を計画しているとして、Vera CPUの採用を明らかにしている。
なお、ここで前提になっている「エージェント型ワークロード」がどのような処理を指すのかは、別記事「AIエージェントとは？仕組みと主要サービスを解説」で整理している。
1リクエストの重さが変わったという前提
30倍・35分の1という比較が成り立つ背景には、推論の負荷構造の変化がある。NVIDIAはOpenRouterのデータを引き、エージェント的な処理は単純なチャット1回に対して15倍のトークンを消費すると説明する。ツールを呼び、結果を読み、次の手を決めるという往復のたびに文脈が積み上がるため、1リクエストの重さがチャット中心の時期とは別物になっている、という整理だ。
この前提に立つと、比較対象がGB300 NVL72に置かれている点も読み方が変わる。GB300 NVL72は2025年に投入されたBlackwell Ultra世代のラック製品で、学習と推論の双方を同じGPUで賄う構成だった。今回の数字は「同じ電力枠でエージェント処理のトークンをどれだけ出せるか」という土俵での比較であり、単体GPUの演算性能が30倍になったという意味ではない。
ネットワークは51万2,000GPUを3階層目なしで束ねる
ネットワーク側では、Ethernetアーキテクチャの「Spectrum-X Multiplane」が示された。サーバーの接続を複数の独立した経路に分ける多面トポロジーにより、3階層目のネットワークを設けずに512,000基のGPUまで拡張できるとしている。汎用EthernetとくらべてAIワークロードのネットワーク性能で1.6倍、障害時のハードウェア復旧はソフトウェア方式の11倍速く、8面構成では1面が落ちても約90%の帯域を維持するという。
スイッチはSpectrum-6 ASICベースのSN6000シリーズで102.4Tb/s、SuperNICはConnectX-9でGPUあたり最大1,600Gb/s。拠点をまたぐNCCL集合通信を1.9倍に加速するSpectrum-XGS Ethernetも合わせて提示された。NVIDIAはこれらに加え、BlueField-4とDOCAによる「Scale-In」をAIネットワーキングの5本目の柱に位置づけている。
Hot Chipsでの一連の発表を、NVIDIAは「extreme codesign（極端な協調設計）」という言葉でまとめている。演算・ネットワーク・推論アクセラレータを個別の製品としてではなく1つのシステムとして最適化するという主張で、外部から買った推論チップを自社ラックの規格に合わせて組み込んだ今回の構成は、その言葉のとおりの形になっている。
