VideoGen-Agent是怎么把翻车现场变成及格线的

你有没有试过这样的场景：让AI帮你生成一段"太极拳白鹤亮翅"的视频，结果它给你来了个四不像的马步动作。或者你想生成一个游戏角色施展招牌技能的画面，AI给你的脸怎么看怎么不对，衣服颜色也对不上。

这不是个例。

2026年之前，视频生成模型的视觉质量已经好到能以假乱真了。光影、构图、运镜，都能做到电影级水准。但这些模型有一个共同的软肋：它们只会"看起来对"，却常常"内容不对"。

这背后的原因其实很朴素。视频生成模型是靠预训练时见过的数据学出来的，它没见过的东西，自然画不出来。一个模型如果训练数据截止到某个时间点，那之后出现的新角色、新技术动作，它压根不认识。就算是它见过的东西，也可能因为记忆模糊而画错细节，比如把太极拳的虚步画成马步，把角色的招牌武器画错颜色。物理规律更是重灾区，碰撞、下落、旋转，这些在AI眼里常常是"意念驱动"而非"牛顿定律驱动"。

普林斯顿大学、斯坦福大学等机构的研究者们决定不再死磕视频生成模型本身，而是给它配一个"外脑"。这就是这篇论文要讲的主角：VideoGen-Agent。

问题到底难在哪儿

在具体讲VideoGen-Agent之前，得先说清楚这件事有多棘手。

论文里拿Seedance 1.0 Pro Fast（当时一个相当不错的视频生成模型）做了基准测试，在VABench这个新基准上，六个能力维度的平均分只有56.5分（满分100）。而Kling 3.0、Hailuo 2.0这些同期的顶级商业模型，得分也就在60分出头到65分之间徘徊。

这意味着什么？

意味着即便是最好的单一模型，在涉及专业知识、身份保持、物理真实感这些"硬骨头"任务上，及格线都够不着。

**单纯靠把提示词写得更详细，或者临时给模型接上工具，都解决不了根本问题。**

论文的消融实验证明了这一点：给基础模型做"提示词重写"（也就是用AI帮用户把提示词写得更详细更专业），分数只从56.5涨到57.3，几乎没什么用。给模型直接配上一套工具接口，让它自己零样本去调用（也就是不经过任何专门训练，直接把工具说明书甩给它），分数也只能爬到59.5。

这就好比给一个完全没受过培训的新员工发了一整套专业设备，指望他看看说明书就能上手干活。设备再先进，不经过训练摸索，大概率还是用不明白，甚至用错场合。

**研究者们意识到，真正的瓶颈不在工具够不够多，而在"会不会用"这件事上。**

于是VideoGen-Agent的思路诞生了：不是造一个更强的视频生成模型，而是训练一个懂得如何协调各种工具的"智能调度员"。

六个任务，一个大脑

VideoGen-Agent要应对六类任务，每一类都对应视频生成里一个经典的痛点。

**程序性知识（Procedural Knowledge）**：像太极拳招式这种需要专业步骤细节的内容。

**单实体身份保持（Single-Entity Identity）与多实体身份保持（Multi-Entity Identity）**：涉及某个特定人物、角色、地标建筑、品牌物品的外观必须准确还原，多实体则是好几个这样的对象要同时出现且互不混淆。

**物理仿真（Physics Simulation）**：碰撞、自由落体、天体运动这类需要遵守物理规律的场景。

**组合场景（Compositional Scene）**：多个主体之间要有正确的空间关系和互动逻辑，比如"猴子偷了梳子"这种谁对谁做了什么的场景。

**多镜头（Multi-Shot）**：一段视频里要按顺序呈现好几个阶段的事件，不能乱序也不能漏拍。

针对这六类任务，VideoGen-Agent配备了三组工具：增强类工具（负责查资料、找参考图、做物理模拟）、生成类工具（文生视频、图生视频、动作生视频、参考图生视频）、验证类工具（物体检测、深度估计，用来检查生成结果对不对）。

智能体的工作方式是一个"思考-行动-观察"的循环。给它一个提示词，它先琢磨这活儿该怎么干，然后决定调用哪个工具，工具返回结果后它接着看结果对不对、够不够，再决定下一步是继续查资料、重新生成，还是可以收工了。

这个循环最多进行若干轮，直到所有要求的视频片段都生成完毕、或者验证分数达到预设门槛，才会停止。

**这套设计的关键在于，它不是一条固定的流水线，而是一个能根据具体提示词灵活调整策略的决策系统。**

比如遇到"程序性知识"类的太极拳提示词，它会先去搜索太极拳"白鹤亮翅"的具体动作要领，把搜到的细节（比如重心后移、右膝弯曲、左脚虚点这种描述）塞进生成提示词里，再交给文生视频工具去画。遇到"单实体身份保持"类的提示词，它会去搜这个角色的参考图片，挑一张最合适的，喂给参考图生视频的工具。

这就好比你请了一个私人助理去帮你办事，而不是给你一份Excel模板让你自己填。私人助理会先判断这件事该找谁、该走什么流程，而不是死板地按照固定表格一步步走。如果只是固定流程，遇到没预设过的组合情况就会卡壳；但如果是会判断的助理，就算遇到没见过的新情况，也能大致推断出该怎么应对。

怎么把这个"大脑"训出来

有了工具和流程设计，剩下的问题是：怎么让一个AI模型学会正确地使用这些工具？

研究者们采用了两阶段训练：先做监督微调（SFT），再做强化学习（RL）。

**监督微调（SFT）**：先给模型看大量"标准答案"式的操作示范，让它学会基本的工具使用套路。

**强化学习（RL）**：在模型已经会基本操作的基础上，通过打分反馈让它自己摸索出更优的策略，而不是死记硬背。

这两步为什么缺一不可？消融实验给出了明确答案：零样本工具使用只有59.5分，加上SFT训练后跳到69.2分，再加上RL又提升到75.6分。

这个数字变化告诉我们一个道理：**光靠示范学习（SFT）能让模型学会"照猫画虎"，但要让它学会举一反三、自己判断什么时候该做什么，还得靠强化学习的打磨。**

这就像学开车。教练带你跑几圈固定路线（SFT阶段），你能记住基本操作。但真正上路遇到各种突发状况时能不能应变自如，靠的是之后不断实际驾驶积累经验、根据结果调整判断（RL阶段）。只有教练带教而没有真实路况的反复试错，遇到复杂路口你大概率还是会懵。

具体的训练数据是怎么来的？研究者用Claude Opus 4.7批量生成了针对六个任务类别的提示词，同时也从公开数据集里挑选补充。然后随机选用Gemini 3.1 Pro或Claude Opus 4.7作为"老师"，让这些强模型先去实际操作一遍工具调用流程，把完整的推理过程、工具调用、返回结果、最终生成的视频都记录下来。

这样一共产生了24000条智能体轨迹，其中16000条用来做SFT的示范教材，剩下8000条提示词留给RL阶段，让模型自己去生成新的尝试并根据打分学习。

奖励机制：怎么给智能体打分

强化学习最核心的问题是：怎么定义"好"？

这篇论文设计了一个混合奖励机制，包含三个部分。

**格式奖励（Format Reward）**：检查模型输出的格式对不对，工具调用参数是不是合法。权重0.1。

**VLM奖励（VLM Reward）**：用一个视觉语言模型（这里用的是Gemini 3.1 Pro）来给最终生成的视频打分，评判是否符合提示词要求。权重0.5，是三者中权重最高的。

**工具使用奖励（Tool-Use Reward）**：评估模型选没选对工具、有没有把工具返回的结果真正用起来（而不是查完资料却没往生成提示词里塞）。权重0.4。

这三项加权求和，得到最终的奖励分数。

有意思的是消融实验里去掉某一项奖励后的表现变化：去掉VLM奖励，总分从75.6降到73.3；去掉工具使用奖励，总分降到71.2，降幅更大。

这说明单纯让模型把视频画得好看还不够，**必须专门去监督它有没有"正确使用工具"这个中间过程，否则模型可能会走捷径，比如去搜了图但压根没用上，或者调用了工具走个过场。**

这有点像考试改卷子不能只看最终答案对不对，还得看解题步骤对不对。如果只看最终结果，学生可能靠蒙对答案，学不到真正解题的逻辑；但如果步骤分占比够高，学生才会认真把每一步都做扎实。工具使用奖励在这里起的就是"步骤分"的作用。

奖励计算完之后，还有一个技术细节叫做**任务级优势归一化（Task Advantage Normalization）**

任务级优势归一化*：由于不同任务类别（比如程序性知识和物理仿真）的打分难度、打分分布可能天差地别，如果不做归一化处理，某些任务的学习信号可能会盖过其他任务，导致模型在某几类任务上学得特别好，其他类别却学不动。这个技术就是把不同类别的"优势值"都拉到同一个尺度上比较，确保六类任务都能公平地被模型学到。

这就好比一个班级里，语文和数学的评分标准不一样，如果直接把两门课的分数加起来评奖学金，数学题目更难导致普遍分数偏低的学生就会吃亏。归一化处理相当于先把两门课的分数都换算成相对班级平均水平的偏离程度，再来综合评价，这样才公平。

实验结果：数字说话

那么这套训练下来的效果到底怎么样？

在VABench这个600条提示词的评测基准上（六个类别各100条），VideoGen-Agent用最初训练时用的那套工具（论文里称为Toolset 1），拿到了75.6分的总分，比它的底层文生视频模型Seedance 1.0（56.5分）整整高出19.1分。

更值得说道的是，这个分数已经超过了当时最强的单体模型Seedance 2.0（73.2分），高出2.4分，尽管在多实体身份保持和组合场景这两项上还略逊一筹。

而当研究者把生成工具换成更强的Toolset 2（生成工具全面升级，比如把T2V和I2V工具换成Seedance 2.0 Fast），智能体的策略完全没变，也没有重新训练，总分直接飙升到86.1分，六个类别全部拿到最高分。

| 模型 | 程序性知识 | 单实体身份 | 多实体身份 | 物理仿真 | 组合场景 | 多镜头 | 总分 |

| CogVideoX-5B | 38.9 | 48.3 | 37.8 | 41.6 | 50.4 | 30.8 | 41.3 |

| Wan2.1-T2V-14B | 42.0 | 46.2 | 39.5 | 49.5 | 60.8 | 62.0 | 50.0 |

| Kling 3.0 | 64.4 | 62.3 | 55.2 | 56.7 | 86.5 | 66.1 | 65.2 |

| Seedance 1.0 | 55.5 | 51.4 | 44.2 | 46.2 | 74.6 | 66.8 | 56.5 |

| Seedance 2.0 | 78.0 | 75.0 | 69.0 | 60.2 | 87.8 | 68.9 | 73.2 |

| VideoGen-Agent-工具集1 | 80.4 | 75.1 | 65.3 | 67.9 | 83.1 | 81.7 | 75.6 |

| **VideoGen-Agent-工具集2** | **92.1** | **83.2** | **86.7** | **69.2** | **90.7** | **94.6** | **86.1** |

这个发现的意义超出了"分数变高"本身。

**它说明这个智能体训练出来的不是死板地记住了某个工具怎么用，而是学会了一套通用的"什么情况该做什么"的判断逻辑，这套逻辑对生成工具本身的具体实现并不敏感。**

换句话说，这就像一个厨师学的不是"这台特定型号的烤箱要设多少度"，而是"看到什么食材该用什么烹饪方式"。哪怕后来给他换了一台更先进的烤箱，他也能立刻上手，因为他学的是判断逻辑而不是死记硬背某个具体设备的参数。如果训练时学的是死记硬背，换设备就得重新学一遍，那才是真正的问题。

分类别来看，相对于最强对手Seedance 2.0，VideoGen-Agent-Toolset 2在多镜头任务上领先25.7分，在多实体身份保持上领先17.7分，在程序性知识上领先14.1分。这几类恰好是最需要"查资料""找参考图""分阶段生成"这类工具协作才能解决的任务。而在组合场景这一项上，领先幅度只有2.9分，因为Seedance 2.0本身在这一项就已经做得相当不错（87.8分），提升空间有限。

人类评估的结果也印证了这一点。研究者找了四位人类评审员，对比VideoGen-Agent-Toolset 2和Seedance 2.0生成的100对视频，结果人类更偏好VideoGen-Agent的比例达到84.3%，其中在程序性知识和多镜头任务上的偏好优势最明显。

这套方法的边界在哪里

论文也做了一些拓展实验，值得一提。

研究者尝试给智能体接入一个全新的工具链，用于机器人操作任务的动作生视频流程：给定一张图片和一句文字指令，先用π0.5这个视觉-语言-动作模型预测出动作序列，再把动作传给Ctrl-World这个可控生成世界模型来画出视频。结果生成的视频比直接用图生视频更接近真实情况，说明这套框架具备一定的可扩展性，训练时没见过的新工具也能通过继续训练接进来。

另一个测试是看智能体能不能应对训练时没出现过的任务组合，比如"某个特定名人做一个特殊的专业动作"，这同时融合了程序性知识和单实体身份保持两类要求。结果智能体会同时调用文本搜索和图片搜索，把程序性指导和视觉参考结合起来用于生成。这说明它学到的不是针对六个任务的六套死板脚本，而是某种可以自由组合的底层判断能力。

不过论文也坦诚地指出了局限。整个系统的表现天花板，很大程度上受制于生成工具本身的质量和延迟、验证反馈的覆盖面，以及目前只针对六类任务训练这件事。单任务强化学习（也就是给每个任务单独训一个专家模型）的总分是76.3分，比多任务共享模型的75.6分还略高一点点。

这个细节挺有意思：**专才在自己的领域里确实比通才稍强，但通才用一套模型覆盖了全部六个任务，整体效率和落地成本上的优势是专才没法比的。**

这就像医院里，如果每个科室都单独培养一个只懂自己领域的专家，各科诊断精度可能都略高一点，但如果病人症状横跨多个科室，专才体系反而会因为协调不畅而漏诊。全科医生虽然单科不如专科医生精深，但胜在能把全局串起来看。

写在后面

读完这篇论文，最触动我的其实不是那些漂亮的分数提升，而是消融实验里那个59.5分的数字。

**零样本工具使用只比完全不用工具高出3分**，这个结果其实在提醒我们一件容易被忽视的事：给AI"配备工具"和让AI"学会用工具"完全是两回事。行业里现在有大量的产品设计，是简单粗暴地把工具接口甩给一个大模型，然后期待奇迹发生。这篇论文用实打实的数据证明，这种做法的收益可能远比想象中要小。

另一个值得琢磨的地方是任务级优势归一化这个技术细节。它解决的问题看起来很技术化，本质上却是个很朴素的公平性问题：当你用同一套标准去衡量难度天差地别的事情时，某些任务会系统性地被忽略。这个思路其实不只适用于强化学习，任何涉及多目标优化、多部门KPI考核的场景，都可能踩中类似的坑。

还有一点没有在正文详细展开但值得一提，论文里那个物理仿真工具的实现细节相当扎实，用碰撞检测、冲量响应、刚体积分这套经典力学的路子去算出真实的物理运动轨迹，再把这个轨迹转成光流交给视频生成模型去"照着画"。这其实是一种挺聪明的分工：让物理引擎负责"算对"，让生成模型负责"画好看"，两者各司其职，而不是指望一个生成模型既要懂物理又要会画画。

这篇论文没有解决的问题也很明显：六个任务类别毕竟是研究者精心设计和平衡出来的，真实世界里用户的需求千奇百怪，远不止这六种组合。当智能体遇到一个完全陌生的任务类型时，它的判断逻辑到底能泛化到什么程度，这篇论文只给出了一个初步的乐观信号，还远没有定论。

如果你也在琢磨AI生成内容这件事，或许可以想想：我们现在要的到底是一个更聪明的画笔，还是一个懂得什么时候该用什么工具的助手？这两者的答案，可能决定了未来几年这个行业往哪个方向走。

Q&A

Q1：VideoGen-Agent是什么？

A：VideoGen-Agent是普林斯顿大学、斯坦福大学等机构提出的多模态智能体，通过多任务强化学习训练而成，它不直接生成视频，而是学会调用搜索、图片检索、物理模拟、检测等外部工具来指导视频生成模型产出更准确的内容。

Q2：VideoGen-Agent比普通视频生成模型好在哪里？

A：在VABench基准测试上，VideoGen-Agent比它所基于的底层文生视频模型Seedance 1.0提升了19.1分（从56.5到75.6），升级生成工具后进一步提升到86.1分，且人类评审偏好率达到84.3%。

Q3：VABench是什么？

A：VABench是论文提出的一个包含600条提示词的评测基准，涵盖程序性知识、单实体身份保持、多实体身份保持、物理仿真、组合场景、多镜头六大类能力，专门用来考察视频生成系统在这些高难度场景下的表现。