3条评论

真是令人惊讶！身处AI前沿的我们，居然也会错过版本更新。

谁能料到，我们通常认为用于生成图像和视频的“扩散模型”，如今也能编写代码、生成网页、使用工具，扮演起Agent的角色了！

就在此刻，扩散智能正式推出了全新的扩散语言模型——

Clover-35B-A3B-Preview。

尽管名称中多了“扩散”二字，但在实际使用中，无论是编写代码、操作网页、调用工具，还是生成HTML，其操作方式与我们熟知的大语言模型并无二致。

我个人使用后的最直观感受就是一个字：“快”。

举例来说，让它创建一个太阳系模拟器，Clover大约思考了1秒，随后仅用4到5秒，一个可交互的太阳系模拟器便诞生了。

再比如，我向它提供一堆简历信息，请其整理成LaTeX格式的简历代码，也不过十几秒便完成了。

说实话，用过GPT的朋友想必都清楚，盯着“正在思考”等待半天的滋味，否则近期也不会有主打快速决策的Jev大行其道了。

说到Jev，这次Clover还真的与它在速度上较量了一番。

在网页Agent评测WindTunnel的49个任务中，每个任务尝试3次，Clover的中位执行时间为1.52秒，而Jev搭配Mercury 2.5的组合则为3.21秒，耗时减少了一半以上。

任务尝试成功率也略高，分别为98.6%和95.9%。

对比同一表格中的Gemini，其速度更是快了好几倍！

好好好，你这个扩散模型，是打算把自回归逼到绝路吗？（doge）

能胜任Agent任务的扩散模型

回到模型本身，Clover-35B-A3B-Preview此次采用了MoE架构，总参数为350亿，每个token激活约30亿参数，并支持思考模式。

它进一步将团队的扩散语言模型，从此前Dream 7B的70亿参数，推进到了350亿总参数的规模。

更关键的是，参数规模扩大后，Clover的速度并未因此减缓，它在相同尺寸的对比中超越了自回归模型。

除了前文提到的交互页面和代码生成，在官方演示中，Clover还进一步展示了复杂任务、WebUI生成等Agent能力。

Clover可通过WebMCP连续处理六项任务，涵盖开票、课程报名、金额汇总、活动状态查询，以及客户信息查询和发票信息查询。

从下方的对比视频可以看出，Clover不仅成功完成任务，在执行速度上也完全超越了Gemini 3.6 Flash。

在线上购物场景中，Clover还能按要求找到指定款式、黑色、L码的T恤，将其加入购物车，填写访客信息，并完成测试结账流程。

老实说，这种连续任务的处理能力，是本次演示中值得关注的亮点。

要知道，扩散语言模型虽然具备并行生成的速度潜力，但在执行Agent任务时，以往的表现其实还不够稳定：

模型在工具调用格式上可能出错，也容易在同一个步骤上反复尝试，未能根据返回结果调整动作。

Clover这次的进步，就体现在这些连续操作中：调用工具、读取反馈、继续执行，直到任务完成。

具体到Benchmark，根据团队公布的数据，Clover在工具使用相关的τ³ Overall和BFCL-v4评测中，分别取得了65.3和67.9的成绩，位居前列。

Agent任务看完，再看看代码。

我又让Clover生成了一个个人Agent的网页界面。看起来也像模像样，整个生成过程不过十几秒。

在代码评测方面，Clover也交出了一组不错的成绩。

在考察真实代码仓库问题解决能力的SWE-bench Verified上，它拿到了73.6；在考察终端任务执行能力的Terminal-Bench 2.1上，拿到了51.7。

可以说，从生成交互页面，到调用工具、跑完业务流程，再到代码评测，作为扩散语言模型的Clover，这次确实承担了不少Agent的工作。

哎，这就很有意思了。印象中负责去噪生成图像的扩散思路，到了语言模型里，究竟是如何生成文字、编写代码的呢？

难不成上面的演示真是AIGC生成的？

扩散语言模型，究竟是什么来头？

一般来说，我们熟悉的自回归语言模型是根据前文预测下一个token，生成一个，再接着生成下一个，也就是大家常说的“词语接龙”。

这里的token，可以简单理解为模型处理的文字片段。

与自回归模型逐个串行预测生成不同，扩散语言模型采用了一种不同的生成方式：允许多个位置同时更新，再经过几轮完善，逐步得到结果。

这里的扩散去噪，可以理解为将被遮盖或受到扰动的内容，逐步恢复成符合上下文的文字。

具体到Clover，它采用的是块扩散：将待生成的内容分成若干块，块与块依次推进，块内多个位置并行更新、相互参考。

这样一来，一轮计算就有机会推动多个位置的生成，减少了逐个生成带来的等待。

但问题在于，能一起生成并不代表一轮就能写好。

因为扩散模型往往需要多轮去噪，才能将结果逐步确定下来。轮数太少，内容可能尚未调整好；多来几轮，计算开销也会随之增加。

到了代码和Agent任务，上下文还会不断变长。之前的要求、已执行的操作、工具返回的结果，都可能影响下一步，历史信息的保存和读取也成了效率问题。

Clover的改进思路，就是让历史记忆和当前生成各司其职。

它围绕块扩散重构了门控Delta网络：已生成的上下文被压缩进持续更新的状态，供后续步骤读取；当前生成的块则通过双向注意力，让块内的token相互参考。

与此同时，Clover将历史记忆的读出作为独立的信息单元，与当前token一起参与注意力计算，让模型自己学习如何权衡前文与当前内容；再通过可学习的块大小校准，减少块变大后历史信息被稀释的问题。

换句话说，这些调整的目标，就是让并行生成、历史信息利用和计算效率更好地配合，这也是Clover将扩散语言模型进一步推进到代码和Agent任务的关键。

而除了Clover以外，扩散语言模型这两年之所以受到关注，也主要在于它相对于自回归的两大优势：

一方面，扩散语言模型允许多个位置同时生成，有机会减少逐token生成带来的串行等待。对于需要反复生成代码、调用工具的Agent，这种潜力尤其值得关注。

另一方面，生成过程中，前后内容可以相互参考。在双向建模的设计下，多个位置能在迭代中共同调整，为处理内容之间的依赖关系提供了另一种方式。Clover当前块内的交互，就是其中一种实现。

围绕这些可能性，学术界和产业界已经给出了不同的尝试。

何恺明今年参与的ELF，尝试在连续嵌入空间中生成语言；谷歌推出的DiffusionGemma，探索并行文本生成；国内大厂也在研究面向代码任务的扩散语言模型。

具体方法各不相同，大家都在尝试把另一种生成方式，变成能用的能力和效率。

Clover这次，则把自己的进展放进了代码、工具调用和连续任务里，交给用户上手检验。

从DiffuSeq到Clover，扩散智能的下一步

最后，让我们回到Clover背后的团队——

扩散智能。

据悉，扩散智能由香港大学孔令鹏教授及其博士生龚珊三、叶佳成联合创立。团队成员对扩散语言模型的探索，可以追溯到2022年。

那一年，他们提出了DiffuSeq，研究如何用扩散模型完成序列到序列的文本生成：给定一段文字，再按条件生成另一段文字。

当时要克服的一道难关，就是把擅长处理图像等连续信号的扩散方法，应用到离散的自然语言上。

到了2025年4月，团队核心成员参与推出Dream 7B，将研究推进到70亿参数语言模型。

根据当时公布的结果，Dream 7B在通用、数学和代码任务上，取得了与同规模自回归模型可比的表现，也展示了规划能力和生成顺序上的灵活性。

再到这次的Clover，模型规模继续扩大，编写代码、调用工具、连续执行任务，都成了重点展示的内容。

这条路线，也就从最初研究如何生成文字，一步步走到了如何把复杂任务做对、做快。现在，团队还在向多模态和端侧延伸。

据介绍，Clover后续也将推出多模态版本，团队正在推进扩散语言模型与多模态理解及动作生成的结合，并持续开展端侧场景的适配与验证。与Acrab的合作，则在推进面向端侧场景的系统适配和软硬件协同验证。

按照团队计划，接下来还会继续探索更大规模的模型，提高长程任务的稳定性，并通过推理优化、量化和部署适配，推进端侧应用。

最后的最后，咱们不妨借着这次新发布的Clover开个脑洞：

人类思考时，究竟是一句接一句往下推，还是先有个模糊的整体，再逐渐补全细节——

大脑究竟更像自回归，还是扩散？

本文来自微信公众号“量子位”（ID：QbitAI），作者：关注前沿科技，36氪经授权发布。

S16冠军赔率走势以整合阵容、版本、对阵路径三个维度的竞猜参考数据为核心，带来高效便捷的体验。

2023年11月2日

想了解更多串联赛前赔率、赛后数据与晋级路线图相关内容，尽在S16冠军赔率走势。

想了解更多区分单场爆发力与系列赛持久力对夺冠概率的影响相关内容，尽在S16冠军赔率走势。

2023年11月2日

S16冠军赔率走势围绕S16冠军赔率走势不断创新，回应用户的真实需求。