Introducing DiffusionGemma（DiffusionGemma：4 倍速文字生成）

來源： Google DeepMind 原文日期： 2026-06-10

中文摘要

Google DeepMind 推出 DiffusionGemma——一款實驗性的開源文字擴散模型（Apache 2.0 授權）。與傳統 LLM 逐個 token 依序生成（自回歸）不同，DiffusionGemma 採用擴散方法同時生成整個文字區塊，在專用 GPU 上實現最高 4 倍的文字生成速度。這款 26B MoE（混合專家）模型在推理時僅激活 3.8B 參數，量化後可裝入 18GB VRAM（消費級 GPU）。定位為研究和開發用途，適合行內編輯、程式碼補全、快速迭代等速度關鍵的互動式本地工作流程。

關鍵洞察

擴散 vs 自回歸：文字擴散模型平行生成 256 個 token，而非逐個生成——這是生成速度突破的關鍵

速度數據：單張 NVIDIA H100 上超過 1000 tokens/秒；NVIDIA RTX 5090 上超過 700 tokens/秒

雙向注意力：平行生成使每個 token 能關注所有其他 token，對非線性領域（行內編輯、程式碼補全、胺基酸序列）特別有優勢

自我修正：模型能迭代優化自身輸出，即時修正錯誤

實驗性定位：輸出品質低於標準 Gemma 4，不是生產環境替代品

原文關鍵句（英文保留）

> "DiffusionGemma generates entire blocks of text simultaneously, delivering up to 4x faster text generation on GPUs."

> "By shifting the decode bottleneck from memory-bandwidth to compute, DiffusionGemma generates up to 4x faster token output on dedicated GPUs."

對 CJ 哥的價值

對技術趨勢追蹤有參考價值：

文字擴散是 LLM 架構的重要演進方向，值得在技術簡報中提及

開源生態的發展速度——DeepMind 持續投入開源（Apache 2.0）

但主要為技術參考，對企業 AI 轉型直接應用較有限