NVIDIAは8月11日、エージェント型AIタスク向けの300億パラメータのMoE(専門家混合)モデル「Nemotron 3.5 Lightning」と、複数モデルへのリクエストを自動振り分けするオープンソースのルーティングライブラリ「NeMo Switchyard」を発表した。
Nemotron 3.5 Lightningは、同等規模のモデルと比べて出力速度が最大4倍、エージェントタスクの完了速度が30%向上するとしている。NVIDIA NeMoを使ったドメイン特化のファインチューニングに対応し、RTX搭載PCやJetson、DGXなど手元のハードウェアからクラウド上でのスケール実行まで、同じモデルを幅広い環境で動かせる。コーディングエージェント向けの強化学習データセットも同時に公開された。
NeMo Switchyardは、タスクの内容に応じて最適なモデルへリクエストを自動振り分けするルーティング層で、単一の高性能モデルだけで処理する場合と比べてタスク完了コストを約3分の1まで抑えつつ、フロンティア級の精度を維持できるとしている。ベンチマークでは最大67%のコスト削減を確認したといい、LangChainやKong Gatewayなど既存のエージェントフレームワークのほか、Boomi・Cognition・Rampといった企業のエージェント基盤とも連携する。
Nemotron 3.5 Lightningの30Bという規模は、クラウドAPI経由でしか使えないフロンティアモデルとは異なり、ゲーミング向けのRTX搭載PC上でもローカル実行できる点が特徴だ。vLLM・Ollama・llama.cpp・LM Studioといった主要な推論ランタイムに対応しており、AIエージェントの処理を自社インフラだけで完結させたい開発者にとって、クラウド依存を減らす選択肢になる。公開されたコーディング向け強化学習データセットも、コーディングAIツールを自前で調整したい開発者の材料になりそうだ。
ローカル実行やエージェント用途の前提となる基礎は、別記事「AIエージェントとは？」で整理している。
