站内搜索

输入关键词搜索文章、标签和短笔记。

↑↓ 选择 · Enter 打开 · Esc 关闭 · Ctrl/⌘ + K 随时搜索

扩散模型开始写代码、开网页了:350 亿参数,速度比 Jev 快一倍


先说结论:一个深圳团队做的扩散语言模型,现在能写代码、生成网页、调用工具,做 Agent 任务的平均耗时是主流方案的一半。

模型叫 Clover-35B-A3B-Preview,来自扩散智能(DiffuSpace),10 月 28 日发布,权重已经上了 Hugging Face。

最反直觉的地方在这儿:扩散模型不是用来生图的吗,怎么开始写代码了?


一、先看看它到底能干什么

发布当天的实测里,几个场景挺能说明问题。

让它做一个太阳系模拟器:思考约 1 秒,之后 4 到 5 秒,一个能拖拽旋转、能看行星轨道的交互页面就出来了。

丢一堆简历信息进去,让它整理成 LaTeX 排版代码:十来秒,直接能用。

再让它从零生成一个个人 Agent 的网页界面:十几秒,看起来有模有样。

更关键的是这一组:连续 6 项网页任务——开发票、报课程、汇总金额、查活动状态、查客户信息、查发票。它一项接一项跑完,中间还会根据页面返回的结果调整下一步动作。

场景实测耗时

官方基准 + 媒体体验数据。基准是官方自报,体验来自发布当天报道。

「连续任务能跑完」这件事,比「生成得快」重要得多。原因后面会说。


二、我们习惯的 AI,是「一个字一个字往外蹦」的

你现在用的所有大模型,几乎都是自回归的:给它前半句,它猜下一个字;把猜出来的字接到后面,再猜下一个字。

这就是为什么你看着它打字,是一个字一个字冒出来的。

问题在于效率。每蹦一个字,都要把整个模型从头到尾跑一遍,把几十亿参数从显存里读一次。

打个比方:你写一篇作文,每写一个字,就要把整本字典从头翻一遍。

字越多,翻的次数越多。而且每次翻字典的成本,跟你写到第几个字没关系——写第一个字要翻一遍,写第一千个字也要翻一遍。

两种写法对比

同样的 6 个字,上面要跑 6 次模型,下面只要跑 1 次。

「一次只出一个字」这件事,本身就是浪费。


三、扩散模型的思路:先打码,再一点点擦干净

扩散模型干的是反过来的事。

你在 AI 生图里见过的「从一团噪点慢慢变清晰」,就是扩散。它的本质是:先把画面弄糊、弄乱,再学着一步步还原。

搬到文字上,玩法变成这样:先把要写的一段话全部盖住(打成「马赛克」),然后让模型去猜被盖住的是什么。猜完一轮,擦掉一部分马赛克,再猜一轮,直到全部清晰。

有意思的是——因为一开始整段都是空的,模型可以同时猜很多个位置。它不需要「先有第一个字才能猜第二个字」。

这就是并行生成的来源。

但直接把整篇文章一起猜,效果不行。文章越长,同时要决定的东西越多,容易前后打架。而且语言本身是有顺序的,一句话的意思常常取决于前面的铺垫。

于是有了 Clover 用的这套折中方案:块扩散。

把文章切成一块一块,每块 32 个位置。块和块之间还是老老实实按顺序来(前一块解完再解下一块),但块内部,32 个位置一起猜。

一块一块往前推,像流水线。


四、它怎么决定「哪些字可以先定下来」

这是整套机制里最有意思的部分。

32 个位置一起猜,但模型对每一格的把握不一样。有的格子它很确定,有的格子纯属瞎蒙。

Clover 的规则很干脆:只定下把握超过 95% 的格子,剩下的继续蒙着,下一轮再猜。

一次猜 32 个,只交有把握的

每一轮只把「有把握」的格子写死,其余继续保持马赛克。

像考试:会做的题先做,不会的先空着,回头再补。而且它给自己划了条及格线——95% 把握才交卷。

要是某一道题全班没一个人有把握呢?它也有兜底:那就挑最有把握的那一个先填上,保证整块能往前走,不至于卡死。

等这块 32 个位置全部有答案了,整块就固定下来,成为下一块的前提,然后开始下一块。

一个字一个字变成了一块一块。这一步之隔,就是速度的来源。


五、真正难的不是快,是「连续干完一件事」

如果只是写一段文字,快一点慢一点,差别没那么大。

但 Agent 不一样。Agent 是连续动作:调用工具 → 读返回 → 判断对不对 → 调整 → 再调用。一步错,后面全歪。

而扩散语言模型过去在 Agent 场景里,恰恰不太靠谱。常见的翻车方式有三种:

  • 工具调用的格式写错了,接口直接不认;
  • 同一个步骤反复试,出不来;
  • 拿到返回结果,不知道怎么改下一步。

Clover 这次强调的进步,就落在这三件事上:连续操作里,调用、读取、调整、继续,能稳住。

有个细节能说明为什么这件事难。模型是一块一块往前推的,意思是它每解完一块,就再也改不了了。如果某一块里混进了一个错的 token,后面所有内容都要围着这个错误继续写。

对比一下:普通的「投机解码」里,草稿写错了可以扔掉重来,因为验证是事后做的。Clover 这里,一次接受就等于一次签了字的合同,没有撤回键。

所以那个 0.95 的及格线,不是随手调的参数。它是在「多定几个字」和「别定错了」之间,往保守那边站了一步。


六、上下文越来越长,它怎么记住前面说过什么

Agent 还有一个麻烦:聊得越久,上下文越长。

前面说过的话、已经执行过的操作、工具返回的结果,全都堆在那儿。传统做法是把它们都塞回注意力里重算一遍,越长越慢。

Clover 的做法换了思路:把已经生成的历史,压缩成一份持续更新的「状态」,而不是把每句话都原样留着。

像做笔记。你不会把老师讲过的每句话都背下来,而是记成几行要点,要用的时候翻一眼。

同时,当前正在生成的那一块,块内的 32 个位置可以互相看——相当于 32 个人一起做同一道题,可以商量,但只能商量这一题,不能用来看别的题。

官方给的说法是:历史记忆的「读出」被做成了一个独立的信息单元,和当前块一起参与计算,前文和当前各占多少权重,交给模型自己学。

这一整套改动是围绕块扩散把门控 Delta 网络(GDN)重构出来的。128K 上下文是明确规格。

翻译成人话:记得住,又不拖慢。


七、纸面成绩单

考什么 分数
τ³ Overall(用工具) 65.3
BFCL-v4(调函数) 67.9
SWE-bench Verified 73.6(真实代码仓库改 bug)
Terminal-Bench 2.1 51.7(终端任务)
Agent 任务中位耗时 1.52 秒,对手 3.21 秒
Agent 任务成功率 98.6%,对手 95.9%

最后两行是同一组任务(49 项,每项跑 3 次)的对比。速度大概是一倍,成功率也高一点。

在写代码这块,73.6 的 SWE-bench Verified 已经不是「玩具扩散模型」的水平了。


八、做这件事的是谁

团队背景挺扎实。

扩散智能由香港大学孔令鹏教授和两位博士生龚珊三、叶佳成一起创立,2026 年 5 月落地深圳。

这条技术路线他们走了很久:2022 年做 DiffuSeq,2025 年 4 月推出 Dream 7B——70 亿参数的扩散语言模型,据称在 Hugging Face 累计下载超过 250 万次。

融资节奏也跟模型发布咬得很紧。10 月初他们宣布连续完成两轮融资,合计近 5 亿人民币,经纬创投、顺为资本、君联资本联合领投,中科创星、华为哈勃、地平线跟投。

华为哈勃和地平线进来,指向很明确:端侧。AI PC、智能汽车、机器人——这些场景的共同点是算力有限、还要求响应快,正好是「并行生成」能发挥的地方。

接下来的计划是往多模态走,同时推进端侧适配。跟 Acrab 的合作就是干这个的。


九、先别急着喊颠覆,三个冷静的事实

第一,这些数字全是官方自己报的。

发布当天,知乎、Reddit、Hacker News 上都还没有像样的第三方复现。模型和报道同一天上线,社区想批评也得先跑起来。

第二,模型卡自己承认了一个短板。

原文写着:「我们观察到非常长的生成有时会变得重复」。为此内置了重复控制和渐进收尾的控制项。

这句话的意思是:长文本翻来覆去说同一件事的问题,还没被架构解决掉,只是用工程手段压住了。 对动不动连续跑几十轮的 Agent 来说,这是个待观察项。

第三,它不是从零训练出来的。

Clover 是从 Qwen3.6-35B-A3B 的权重出发改的。好处是省下天价预训练成本,直接继承一个成熟模型的语言能力;代价是,它的能力上限相当程度上还受原来那个模型约束。

「扩散」带来的增量,主要在两处:并行生成带来的速度,和块内互相参考带来的灵活性。它不是凭空变出来一个新物种。


十、三个你可能想问的

问:它能替代 ChatGPT 吗?

不能。它只是换了一种「写字的方式」,不是换了一套能力。底座还是那个 Qwen3.6,只是解码从「一个字一个字」变成了「一块一块」。

问:为什么能快一倍?

因为跑一遍模型的成本几乎没变,但一次能定下来的字多了。原来跑一遍出一个字,现在跑一遍出一块里的一部分。等于把「翻一遍字典写一个字」改成了「翻一遍字典写一段」。

问:我现在能用吗?

权重和模型卡都在 Hugging Face 上,可以直接下。不过它是 35B 的模型,本地跑需要点硬件。


最后一句

这不是「扩散干掉了自回归」。

它更像是:在同一条路上,多修了一条车道。

那条车道特别适合一种车——一个人干活、没人陪跑、上下文还特别长的任务。Agent 恰好就是这种车。

至于这条路最终是「一条更快的工程捷径」,还是「下一代模型的雏形」,得等社区把模型跑起来、把长任务压一压,才能有答案。

现在能确定的是:那个「AI 只能一个字一个字往外蹦」的时代,技术上已经被绕过去了。


参考:

  • 量子位:《刚刚,扩散模型杀进 Agent 主场!350亿参数,速度比 Jev 快一倍》
  • Hugging Face:Clover-35B-A3B-Preview 模型卡
  • 扩散智能官方发布信息、融资披露

文中图 1–图 3 为本文自绘;基准数据为官方自报,实测体验数据来自发布当日媒体报道。