NVIDIAは11月8日（米国時間）、韓国企業が開発した4つのオープンモデルを本番環境で動かすためのNVIDIA Dynamo向けデプロイレシピを公開した。対象はSKテレコムの「A.X K2」、LG AI Researchの「K-EXAONE 2.0」、Upstageの「Solar Open 2」、Motif Technologiesの「Motif-3」で、いずれもNVIDIA B200 GPU向けに最適化され、追加の調整なしで最大2倍の性能が出るとしている。
Dynamoは、NVIDIAがオープンソースで開発している分散推論サーバーのフレームワークだ。1枚のGPUに収まらない大規模モデルを複数GPU・複数ノードに分割して動かす際、リクエストの振り分けやGPU間通信の調整を受け持つ。今回のレシピは、その設定を4モデルそれぞれについてあらかじめ組んだもので、開発者が並列化や量子化の構成を一から検討する手間を省く狙いがある。
Dynamoのドキュメントに掲載されたレシピ一覧を見ると、構成はモデルごとにかなり異なる。4つともバックエンドはvLLMで、重みは4ビット浮動小数点形式のNVFP4を使う。
- K-EXAONE 2.0：総パラメータ7,500億・アクティブ370億のMoEモデル。B200を4枚または8枚使い、KVキャッシュの所在を考慮したルーティングと、複数トークンを先読みするMTP推測デコーディングを組み合わせる
- Solar Open 2：2,500億パラメータで、100万トークンの長文脈に対応。プリフィル（入力処理）1系統とデコード（出力生成）2系統に分ける分離構成では、プリフィル側にエキスパート並列を使う
- A.X K2：B200を8枚または12枚使う構成に加え、旧世代のH200を32枚使う構成も用意。EAGLE3による推測デコーディングを採用
- Motif-3：B200 2枚の最小構成から、8枚でプリフィル3系統・デコード1系統に分ける構成まで。こちらは実験的扱い
プリフィルとデコードを別のGPU群に分ける「分離サービング」は、入力の読み込みと出力の生成で必要な計算資源が違うことを利用して、GPUの遊びを減らす手法だ。Dynamoが2025年3月の発表時から中核に据えてきた機能で、今回のレシピもモデルの性質に合わせてその比率を変えている。性能「最大2倍」の比較対象や測定条件は公式ブログには書かれていない。
4モデルの顔ぶれは、韓国科学技術情報通信部（MSIT）が2025年6月に始めた国家AI基盤モデル事業の参加企業と重なる。同事業ではNaver Cloudが第1段階で外れ、2026年8月27日に公表された第2段階の評価ではSKテレコム、Upstage、LG AI Research、Motif Technologiesの4社が残った。来年2月の第3段階で2社に絞り込まれる予定とされ、NVIDIAは同日の別発表でもMSITとの協業の一環として、韓国の基盤モデル開発企業4社とDynamoで推論の最適化を進めると説明している。つまり今回のレシピは、評価が続く国産モデルを実際のサービスに載せるための土台を、NVIDIAが先回りして用意した形になる。
一方、LGは同じ週にK-EXAONEの次版「K-EXAONE 2.5」のAPI提供を始めると明らかにしており、レシピが対応するのは一つ前の2.0にとどまる。オープンモデルを自社のB200環境で運用したい企業にとっては、モデル本体の更新とレシピの更新にずれがある点に注意が要る。レシピはDynamoのGitHubリポジトリとドキュメントで、他の海外モデル向けレシピと同じ形式で公開されている。
