Google DeepMindは2026年6月10日、拡散型の言語モデル「DiffusionGemma」をApache 2.0ライセンスでオープン公開した。従来の大規模言語モデルが1トークンずつ順次生成する方式とは異なり、256トークン単位の段落を一括で生成するアーキテクチャにより、NVIDIA H100 GPU上で毎秒1,000トークン超の生成速度を実現した。
26Bパラメータ規模のMixture of Experts（MoE）構成だが、推論時に実際に動作するパラメータは3.8Bに限られており、メモリ効率が高い。量子化後は18GB VRAM以内で動作するため、NVIDIA GeForce RTX 5090でも毎秒700トークン超の速度を出せる。フラッグシップのGPUが不要でも高速推論が可能になった。
256トークンの段落全体を並列生成するため、各トークンが他のすべてのトークンを参照できる「双方向注意機構」を持つ点も特徴だ。インライン編集・コード補完・非線形なテキスト構造の生成に向いており、一度生成した出力を自己修正する機能も備える。最高品質を求める用途には通常のGemma 4が向くが、速度重視の大量処理には有力な選択肢になる。
拡散モデルはこれまで主に画像生成で使われてきたが、テキスト生成への応用はスタートアップも含め複数の研究グループが試みてきた分野だ。DiffusionGemmaはGoogleがこの方向性を実用モデルとして正式にリリースした点で、業界全体の関心を集めている。
