NVIDIAは10月12日、米サンノゼで開かれたOpen Compute Project（OCP）のGlobal Summitで、Vera Rubin世代のラック設計とAIファクトリー運用ソフトのオープン化を発表した。Vera Rubinのラックと計算トレイの設計を、自社のモジュラー設計規格「MGX」を通じてOCPに提供する。あわせてGoogle、Meta、Microsoft、AMDなどと共同でデータセンターの設計仕様を公開し、Cisco、Googleとはネットワーク部品の標準化でも協力する。
ラック側の中心は「MGX 1.2」仕様だ。ラック単位でのブラインドメイト（差し込むだけで接続できる）液冷、液冷式の5,000Aバスバー、19インチ機器のネイティブ対応、ファンを持たない液冷計算トレイ、電源・冷却インターフェースの標準化などを盛り込み、1ラックあたり最大250kWの構成に対応する。液冷の継手技術であるMQDとMQDBもオープンにした。これとは別に、CPUの「Vera」だけで構成するラックの設計仕様も出した。ツール呼び出しやエージェントの指揮、サンドボックス内でのコード実行といった、GPUより汎用CPUが向く処理を受け持つラックで、学習・推論を担うVera Rubin NVL72と組み合わせる前提になっている。
ソフトウェアでは、AIファクトリー向けプラットフォーム「DSX」の運用層であるDSX OSから、次の4つの部品をオープンソースで公開した。いずれもNVIDIAが自社のDGX Cloudを運用してきた中で作ったものだという。
- NVIDIA Config Manager：大量のネットワークスイッチの設定を自動化する
- NVIDIA Cluster Readiness Engine：学習を始める前に、実際の負荷を模したテストでGPUクラスターを検証する
- NVIDIA Rack Management Service：ラック内のハードウェアを抽象化し、ファームウェアをラック単位で管理する
- Cluster API Provider for NVIDIA Infrastructure Controller：ベアメタルの展開とテナント追加を自動化し、数日かかっていた立ち上げを数時間に縮めるとしている
AMDとの連名で出たデータセンター仕様と、送電網トラブル時の2秒ルール
施設設計の仕様「Open Data Center Specification v0.7」は、NVIDIA、AMD、Google、Metaの4社が連名で公開した。電源構成、冷却、建屋のレイアウトを扱う。GPU市場で競合するAMDとNVIDIAが同じ設計文書に名を連ねたことで、データセンター事業者は特定のGPUベンダーに合わせて建屋を作り分ける必要が減る。
もう1つの「OCP Grid Resilience Specification」は、Google、Meta、Microsoft、NVIDIAによるもので、送電網に乱れが生じたときのAI設備の振る舞いを定める。系統から切り離されずに接続を保ち、自動で応答し、2秒未満でほぼ全負荷に戻ることを求める内容だ。NVIDIAは9月21日に、電力・冷却機器の認定制度「DSX Ready」を始め、蓄電システム（BESS）では日立エナジー、LGエナジーソリューション、テスラの製品を認定している。DSX Readyが個々の機器の品質を見る制度だったのに対し、今回の仕様は設備全体が送電網に対してどう振る舞うかという、電力会社側から見た要件に踏み込んでいる。数万基のGPUが一斉に負荷を落としたり戻したりすれば系統の周波数に影響するため、接続条件をあらかじめ業界側で揃えておく狙いがある。
このほかVisionbayは、NVIDIAの800V直流（800 VDC）リファレンス構成とVertivの電源・熱管理技術を使ったAIファクトリー基盤「K-1」を発表した。交流から直流への変換をクラスター単位の電源センターでまとめ、800Vの直流を計算機の近くまで配る構成で、初日から全面的に切り替えるのではなく段階的に移行できる設計にしている。
MetaがSpectrum-6を採用、Ciscoとは光モジュールの新規格
ネットワークでは、MetaがNVIDIAの102.4Tb/s Ethernetスイッチ「Spectrum-6」を採用した。Spectrum-6はスイッチング容量とレーンあたりの帯域がSpectrum-4の2倍で、1レーン200Gでロスレス通信ができる。MetaはSpectrum-6を使った自社設計スイッチ「N-IceCube」を、液冷の102.4Tラック「IcePack」に組み込み、自社のスイッチOS「FBOSS」で動かす。ConnectX-9 SuperNICと組み合わせると、GPU間の通信を最大8つの独立したネットワーク面に分散でき、スイッチの階層を減らしたまま10万GPU超の規模に対応できるとしている。
Ciscoとは、新しいプラガブル光モジュールの形状「USFP」を発表した。現行の200Gb/s/レーンのOSFPとほぼ同じ大きさで1レーン400Gb/sを扱い、16レーン（将来は32レーン）を収める。従来の200Gb/s/レーン品と比べて帯域密度は4倍、電力効率は約1.3倍になる。TE ConnectivityとAmphenolがケージやコネクタを手がけ、複数社から供給できる体制を目指す。Googleが開発したEthernet上の伝送プロトコル「Falcon」も、将来のConnectX-10 SuperNICとBlueField DPUでサポートされる。アプリケーションは標準のRDMAインターフェースのまま、GoogleのNICとNVIDIAのNICが同じ伝送方式で通信できるようになる。
