谷歌于2026年6月10日正式发布了实验性开源语言模型DiffusionGemma,打破了传统大模型逐字生成的自回归范式,首次将图像AI中的扩散机制引入文本生成领域。该模型通过从随机噪声中进行多次迭代优化,可实现一次性并行输出256个标记的词块。

谷歌联合英伟达发布开源模型DiffusionGemma:引入扩散机制,单卡推理提速4倍

在硬件效能上,通过英伟达的深度优化,模型在单GPU单用户模式下的运行速度比同类传统模型提升了近四倍。在H100显卡上处理单条请求时,其输出速度可达每秒1000个标记,即使在RTX5090等高端消费级显卡上也能突破每秒700个标记。

DiffusionGemma拥有260亿参数,依托混合专家(MoE)架构,单步激活参数仅为38亿。尽管在标准基准测试中,其文本生成质量与准确率略逊于传统的Gemma4系列模型,但其独特的“全块感知”能力打破了自回归模型只能向后推演的局限。由于所有标记在生成过程中可以相互引用,该模型在文本后补、代码填空、数独求解以及氨基酸序列等非线性、结构化数据处理任务中展现出显著优势。

谷歌联合英伟达发布开源模型DiffusionGemma:引入扩散机制,单卡推理提速4倍

目前,该模型权重已基于Apache2.0协议在Hugging Face开源,并全面兼容vLLM、MLX等主流推理框架。这一探索不仅打破了内存带宽对GPU算力的制约,也为未来AI在复杂逻辑及非线性文本生成任务上的应用开辟了全新的技术路径。