唐杰署名论文曝光内部多模态模型，下一代 GLM 呼之欲出？ - MK体育网页版

GLM-5.3与GLM-5.3-Flash正式亮相之后（尽管这两款模型同属一个系列，但采用了不同的基座模型进行训练），智谱持续优化模型在Coding、长时程Agent等方面的能力，然而下一代GLM将如何升级，仍是业界关注的焦点。

除了更强大的推理能力和更低的成本，另一个值得关注的方向是：原生多模态。

近期，清华大学与智谱的研究人员联合在arXiv上发布了论文《Can Visual Generation Expand What Unified Multimodal Models Know?》（“视觉生成能否扩展统一多模态模型的知识？”），通讯作者为智谱首席科学家、清华大学教授唐杰。

论文介绍了一款此前未公开的智谱内部模型GLM-Omni，并试图回答一个有些反常规的问题：模型通过图像生成学到的知识，能否转化为语言推理能力？

在实验中，GLM-Omni在数字任务上正确画出指定球衣号码的比例达到72%，但若不提供图片，仅用文字询问同一号码，正确率却只有2%。

研究人员随后调整训练方式，将生成图像、观察图像以及文字回答整合到同一条训练序列中，模型平均文字问答准确率从12.57%提升至26.86%。在此基础上，允许模型在回答问题前先生成图像、再观察图像作答，准确率进一步提高至41.14%。

这项研究并非下一代GLM将采用某种架构的直接证据，但提供了一个值得追踪的研发线索：当智谱已在GLM-5.3-Flash上实现原生多模态理解后，研究人员仍在探索如何让视觉生成与语言推理之间建立更紧密的联系。

智谱就差你了

要理解这篇论文的意义，首先需要厘清一个概念：原生多模态，并不等同于模型能够自主生成图片。

今年8月，智谱推出了GLM-5.3-Flash，并将其称为GLM-5系列首款原生多模态模型。它采用全新的预训练基座，支持图像、视频等多模态输入，能够在Coding Agent工作流中理解界面、观察渲染结果，并根据交互反馈持续修改代码。

但从公开的模型接口来看，GLM-5.3-Flash的主要输出仍然是文本。它能够理解视觉信息，但并不意味着它已能在同一模型中原生生成图像。

这也是多模态模型当前一个重要的技术分野。

一类模型主要解决多种信息的统一理解，让模型能够同时处理文字、图片、视频等输入；

另一类模型则进一步尝试统一理解与生成，使同一模型既能理解视觉内容，也能直接生成图像，并探索两种能力之间的知识共享。

后者面临的问题，不仅包括如何把图片画好，还包括模型从生成任务中学到的知识，能否被其他任务调用。

唐杰此前谈及原生多模态时，关注的也不仅是增加一种输入或输出能力。在他看来，视觉、声音乃至触觉等信息的统一感知，是模型进一步理解环境、执行长时程任务的重要基础。

对于需要持续观察环境、根据反馈调整行动的Agent而言，多模态不仅是功能扩展，还关系到模型能否真正进入复杂的现实任务。

今年6月，有网友在X上询问马斯克：中国模型何时能达到Fable的水平？马斯克回答，可能是第一季度。唐杰回应了一句：不会花太长时间。

10月21日晚，官方运营向编程套餐用户发送了一份补偿通知。通知末尾写道：“新模型发布后还会再额外赠送一次重置卡”，相当于预告更新即将到来。

多模态输出的隐藏能力

论文通讯作者唐杰是智谱首席科学家。三位共同第一作者李文凯、洪文逸、杨卓一在智谱实习期间完成了这项研究。

模型GLM-Omni以智谱开源的GLM-4.1V-Thinking为基座，参数规模9B，属于较小的测试模型。研究团队提出了一套名为Knowledge Transfer Probing（KTP，知识迁移探测）的测试方法，核心是区分两件事：

模型在图像生成时是否学到了某项知识；

它能否通过语言将这项知识表达出来。

这也是统一多模态模型值得探索的一项潜在价值。它不仅能让模型同时看图、画图，还可能使不同模态学到的知识相互补充，而非各自独立工作。

为验证这一点，研究人员构建了一个虚构世界MagicWorld，其中的球队、人物、徽章等实体均不存在。例如，一支虚构球队的球衣号码是10，训练时仅让模型学习生成印有号码10的球衣图片，文字提示中不提供这个数字。

数据集包含颜色、数量、数字、形状、空间位置等7类知识，共350条，并扩展为8552组图像训练样本。这样可以尽量排除模型依赖已有文字记忆答题的可能。

参与测试的除了智谱内部GLM-Omni，还有字节跳动的BAGEL和商汤的SenseNova-U1。三款模型采用了不同的视觉生成架构，研究人员分别检查它们能否正确画出目标属性，以及在没有图片辅助时能否用文字回答。

第一轮实验就发现了明显的“会画不会说”。

GLM-Omni的平均图像生成正确率达到54%，但直接用文字回答相同知识的准确率仅14.57%。其中，数字任务的图像正确率为72%，文字问答正确率却只有2%。SenseNova-U1的数字任务差距更大，分别为88%和0%。

这意味着，模型已在图像生成过程中复现某些知识，却难以直接通过语言调用。换句话说，将视觉生成和语言理解放入同一模型，并不代表两种能力所掌握的知识能自动互通。

那么，问题究竟出在哪里？研究人员接下来尝试了两种不同的训练方法。

第一种是文字对齐：为部分虚构实体补充文字问答，让模型学习如何回答相关问题，再测试其能否迁移到未见过文字答案的实体上。

但效果并不稳定。GLM-Omni的平均文字正确率甚至从14.57%下降至12.57%。这表明，单纯增加文字问答，不足以稳定地将视觉知识转化为语言能力。

第二种方法则更有趣，称为图文交错对齐（Interleaved Image–Text Alignment）。

研究人员不再将生成图片和回答问题视为两种独立任务，而是将它们整合进同一条训练序列。例如，模型面对球衣号码问题时，先生成相关图像，再观察图像，最后给出文字答案。

结果，GLM-Omni在不允许临时画图的文字测试中，平均正确率从12.57%提升至26.86%。

为确定提升是否来自图像生成，研究人员还进行了一组对照实验：保留同样的训练样本和文字监督，仅去掉交错训练中图像生成部分的损失信号。结果，准确率又降至13.71%。

这揭示了论文第一个重要结论：

1）统一模型的知识共享，不仅取决于架构是否统一，还取决于不同任务的训练信号能否有效衔接。

2）图像生成提供的不只是输出功能，它本身也可能帮助模型建立可被其他任务利用的知识关联。

不过，即使经过联合训练，模型仍有大量视觉知识无法直接用文字表达。研究人员于是换了一个思路：既然模型能画出答案，为何不让它在回答问题时，先把相关内容画出来？

这就是第三轮实验采用的视觉思维链（Visual Chain-of-Thought）。

与前面改进训练方式不同，这次改变的是模型实际答题时的推理过程：先生成图像，再观察图像，最后组织文字答案。

效果更加明显。GLM-Omni的平均文字问答准确率从26.86%进一步提升至41.14%，增加14.28个百分点。其中，数字任务从0%提高到36%。

这也带来了论文的第二个重要发现：图像生成不仅可能在训练阶段帮助模型学习知识，还能在推理阶段成为调用知识的一种中间表达。对某些难以直接用语言回答的问题，模型可先通过生成图像呈现相关信息，再从中提取答案。

整体而言，这篇论文并未证明统一多模态一定优于独立模型组合，但为其提供了一项值得继续验证的技术价值：视觉生成不只是给用户画图，还可能成为模型学习、组织和调用知识的新途径。

这或许也是观察智谱在训练下一代模型时，关注到的一个重要方向。

多模态路线选择

统一多模态，下一代GLM会如何选择？既然让模型自己画图还可能提升推理能力，为何头部厂商没有全面采用这种架构？

2025年3月，OpenAI曾将原生图像生成整合进GPT-4o，强调图像生成应成为语言模型的核心能力。但在后续产品中，OpenAI又转向由GPT Image等专业模型承担图像生成。谷歌也在通用Gemini与Nano Banana图像模型之间形成了产品分工。

背后的现实考量是成本与效率。相比让旗舰模型包揽所有任务，专业模型更容易针对画质、速度和成本单独优化。

智谱同样如此，目前GLM-5.3-Flash主要负责多模态理解，GLM-Image则专攻图像生成。

有意思的是，唐杰早在2025年12月就曾表示，文本、多模态理解和多模态生成“可能最有效的方式还是分开发展”，但三者结合也值得探索，只是需要足够的资本支持。

那么，统一模型付出的额外成本，究竟能换来什么？

这篇论文给出了一个初步答案：图像生成不仅是增加一项输出功能，还可能让模型学到语言训练中没有的信息，并在训练和推理阶段转化为其他能力。不过，研究尚未证明这种收益足以抵消统一架构的成本。

而智谱对下一代模型的布局显然不止于此。其最新融资安排涉及下一代GLM、完全自训练以及算力基础设施建设。在8月31日的智谱业绩交流会上，唐杰曾提出，GLM-6.0将探索模型的自我评估与持续改进能力。

同一份公告中也提到，智谱要提升基础模型的有效规模、原生上下文长度，以及“原生多模态统一建模能力”。

从GLM-5.3-Flash的原生多模态理解，到GLM-Omni探索视觉生成与语言推理的知识共享，可以初步嗅出下一代GLM的重要方向——不仅是能否直接文生图，而是多模态能否真正成为模型能力增长的新来源。

本文来自微信公众号“AI前线”（ID：ai-front），作者：四月、飞野，36氪经授权发布。此外，MK体育也在关注AI技术在多模态领域的应用进展。