这项由香港都会大学与快手手艺Kling团队联合完成的研究
，，，，，，，揭晓于2026年6月
，，，，，，，论文编号为arXiv:2606.02564
，，，，，，，有兴趣深入相识的读者可以通过该编号盘问完整论文。。。 先从一个场景提及。。。假设你给一个很是厉害的画家出了道谜题：把一个紫色圆球沿着迷宫路径移动到绿色终点
，，，，，，，路上不可穿越墙壁。。。这位画家画功一流
，，，，，，，每一幅单独的画面都美得令人叫绝——但他历来没学过迷宫规则。。。效果呢？？
？他画出的一连画面里
，，，，，，，紫色球走着走着就穿墙而过
，，，，，，，或者爽性消逝了
，，，，，，，又或者到了最后停在了一个完全过失的地方。。；；；嫫
，，，，，，，但基础没按规则走。。。 这恰恰是目今最先进的视频天生模子（可以明确为"AI视频画家"）面临的焦点逆境。。。这些模子经由海量训练
，，，，，，，能天生画质细腻、时序连贯的视频
，，，，，，，但它们的"优化目的"历来都是"让画面悦目"
，，，，，，，而不是"让逻辑准确"。。。于是在一些需要遵守规则的推理使命里——好比把彩色方块移动到对应颜色的目的位置
，，，，，，，或者在不违反规则的条件下还原一张异常图片——这些模子经常天生视觉上流通却逻辑上误差百出的视频。。。 这个问题催生了一个很有意思的新研究偏向
，，，，，，，叫做"用视频来推理"。。。焦点思绪是：既然大语言模子可以用文字一步一步推理
，，，，，，，视频天生模子能不可用一帧一帧的画面来推理呢？？
？每一帧画面就像推理链条上的一个节点
，，，，，，，整个视频就是一条完整的视觉推理轨迹。。。这个偏向确实很有潜力
，，，，，，，但问题依然保存——AI画家不懂规则
，，，，，，，那怎么办？？
？ 第一种思绪叫"最优样本筛选"
，，，，，，，也就是让画家多画几遍
，，，，，，，然后挑最好的那张。。。详细做法是同时天生好几个版本的视频
，，，，，，，再凭证评分选出最切合要求的谁人。。。这确实能镌汰一些随机性过失
，，，，，，，但问题在于：若是画家基础就不明确迷宫规则
，，，，，，，不管画几多遍
，，，，，，，过失往往是系统性的——每次都在同样的地方穿墙
，，，，，，，再多实验也无济于事。。。实验数据也印证了这一点
，，，，，，，多天生几倍的候选视频
，，，，，，，最终得分的提升相当有限
，，，，，，，性价比很低。。。 第二种思绪叫"用语言模子当照料"
，，，，，，，也就是让一个懂规则、会思索的"文字AI"（视觉语言模子）先剖析问题
，，，，，，，写出一份文字解题计划
，，，，，，，然后把这份计划转达给视频天生模子
，，，，，，，让它按计划去画。。。理论上听起来不错
，，，，，，，但实践中却遭遇了"翻译失真"的难题。。。文字形貌自然就很难捕获到那些精妙的空间位置关系——"把蓝色方块向右移动两格"
，，，，，，，在文字里清晰
，，，，，，，但视频模子在执行时往往走样
，，，，，，，要么移错了位置
，，，，，，，要么方块形状变了
，，，，，，，要么历程中泛起了希奇的中心状态。。。更况且
，，，，，，，若是使命自己就很有数或者很细腻
，，，，，，，语言模子也未必能写出一份真正可执行的计划。。。 这两条路各自的局限
，，，，，，，让研究团队意识到：问题的泉源不在于"选哪个更好的效果"
，，，，，，，也不在于"怎么把文字计划写得更详细"
，，，，，，，而在于能不可直接在视频天生的历程中注入"逻辑纠错"的实力。。。 他们注重到一件事：虽然视觉语言模子（谁人"懂规则的文字AI"）不善于写出可执行的视频计划
，，，，，，，但它却很是善于看图判断——"这个球有没有穿墙？？
？""最终状态里
，，，，，，，球到了绿色终点吗？？
？""画面里的三个方块
，，，，，，，形状和颜色有没有爆发改变？？
？"关于这类"是不是""对差池"的判断题
，，，，，，，视觉语言模子体现得相当精彩。。。 基于这个洞察
，，，，，，，研究团队提出了一个全新的框架
，，，，，，，起名叫"VLM即西席"（VLM-as-Teacher）。。。在这个框架里
，，，，，，，视觉语言模子不再认真写文字计划
，，，，，，，而是担当一位严酷的考官：它视察视频天生模子天生的视频
，，，，，，，判断画面是否切合规则
，，，，，，，然后把判断效果转化为一种"纠错信号"
，，，，，，，直接反响给视频天生模子
，，，，，，，让后者据此调解自己的天生方法。。。整个历程在每个测试使命中实时爆发
，，，，，，，无需提前训练
，，，，，，，属于"临场学习"。。。 用更直观的比喻来说：以前的做法是考前让语文先生给数学画家写题解（但语文先生写的题解画家基础照不出来）；；；现在的做法是请一位数学先生在画家画的时间坐在旁边
，，，，，，，一直指出"这里错了""那里对了"
，，，，，，，让画家实时修正。。。 第一个环节是"出考题"。。。给定一个视频推理使命（好比迷宫导航）
，，，，，，，视觉语言模子会剖析使命形貌
，，，，，，，自动天生一组评判标准
，，，，，，，以问答题的形式泛起。。。这些问题分为两类：一类是"历程监视题"
，，，，，，，检查视频在中心历程里有没有违规
，，，，，，，好比"紫色球在整个历程中有没有坚持完整、没有破碎或消逝？？
？""紫色球有没有穿过任何一面墙？？
？"另一类是"目的告竣题"
，，，，，，，检查最终效果是否准确
，，，，，，，好比"到视频最后
，，，，，，，紫色球和绿色方块有没有重叠在一起？？
？"所有问题都是正向表述的
，，，，，，，准确谜底统一是"是的"。。。 这种设计有个巧妙之处：差别的使命会自动天生差别的考题
，，，，，，，而不是用一套通用的笼统标准去评判所有使命。。。事实
，，，，，，，迷宫使命的要害规则和颜色排序使命的要害规则完全差别
，，，，，，，用统一套"通用问卷"往往抓不住真正的要点。。。 第二个环节是"在线优化"。。。视频天生模子（配备了一个叫做LoRA的轻量级"插件？？
？"）先快速天生一个起源的视频展望效果
，，，，，，，然后把这个展望效果交给视觉语言模子考官去回覆那些考题。。？？
？脊俑龌馗埠
，，，，，，，系统会盘算"考官有多大掌握说这些谜底是'是'"——掌握越低
，，，，，，，说明视频越有问题。。。这个"掌握水平"的倒数就酿成了优化信号
，，，，，，，通过数学上的反向撒播（可以明确为把"那里错了"的信息一层一层往回转达）
，，，，，，，专门调解谁人轻量级LoRA插件的参数。。。调解完之后
，，，，，，，视频天生模子再天生一次
，，，，，，，再让考官打分
，，，，，，，再调解
，，，，，，，云云循环。。。当考官的评分高到一定水平（也就是对所有考题的"是"谜底都有足够掌握）
，，，，，，，或者循环次数抵达上限
，，，，，，，优化阻止
，，，，，，，最终用优化后的模子天生正式的效果视频。。。 整个历程中
，，，，，，，视频天生模子的原始参数和视觉语言模子的参数都坚持稳固
，，，，，，，只有谁人小小的LoRA插件在针对这个特定使命做调解。。。这意味着每次优化都是高度个性化的——针对这道题
，，，，，，，专门调解
，，，，，，，用完即止
，，，，，，，不影响下一道题。。。 若是直接按上面的思绪实现
，，，，，，，盘算量会大得惊人。。。每一轮优化都需要完整地天生一个视频
，，，，，，，然后用视觉语言模子逐帧剖析
，，，，，，，这在时间和算力上都难以遭受。。。研究团队为此设计了三个让整个流程变得现实可行的技巧。。。 第一个技巧是使用一个简化版的图像解码器来替换正式版本。。。正式的视频解码器（把模子内部的数字信号转化为肉眼可见画面的工具）很是耗时耗内存
，，，，，，，但在优化阶段
，，，，，，，视觉语言模子着实不需要画质有多完善
，，，，，，，只需要能看清大致结构就够了。。。于是研究团队引入了一个轻量级的替换解码器
，，，，，，，速率更快、内存占用更小
，，，，，，，虽然画质差一点
，，，，，，，但丝绝不影响考官的判断准确性（实验也验证了这一点）。。。正式输出最终效果的时间
，，，，，，，再切换回高质量解码器。。。 第二个技巧是把视频天生模子"蒸馏"成一个只需要四步就能完成的快速版本
，，，，，，，并且在优化阶段只优化第一步的展望效果。。。正常的视频天生模子需要经由几十步的迭代才华天生最终画面
，，，，，，，但研究批注
，，，，，，，推理行为主要在早期办法就已经确立。。。经由"蒸馏"的四步快速模子
，，，，，，，在第一步的展望效果就已经能让考官看出大致的推理走向
，，，，，，，无需走完所有四步。。。这大大镌汰了每轮优化的盘算量。。。 第三个技巧是用损失值来决议何时阻止优化。。。当考官对所有问题的"是"谜底都有足够高的掌握时（损失值降到阈值以下）
，，，，，，，系统就自动阻止
，，，，，，，不再继续优化。。。这阻止了太过优化——优化太多步反而可能让模子"钻空子"
，，，，，，，在评分上体现不错但现实视频质量反而下降。。。实验显示
，，，，，，，平均只需要16步优化就能抵达最佳效果
，，，，，，，再往后的边际收益迅速缩小。。。 研究团队用两个专门评测视频推理能力的基准来磨练这套计划。。。第一个叫VBVR-Bench
，，，，，，，专注于符号视觉推理
，，，，，，，涵盖五大类能力：笼统推理、知识运用、感知判断、空间关系和变换操作。。。这个基准有明确的标准谜底
，，，，，，，用专门的检测程序来评分
，，，，，，，客观性很强。。。第二个叫RULER-Bench
，，，，，，，偏向开放性的通用场景推理
，，，，，，，涵盖人文、科学、假设判断、语义明确、视觉感知等五大类共30个子使命
，，，，，，，用GPT-o3这个强盛的AI来当评委打分。。。 比照"天生多个候选择优"的要领（Pass@5
，，，，，，，即天生5个候选选最好的）
，，，，，，，这种要领在VBVR-Bench上只能提升0.017
，，，，，，，在RULER-Bench上提升2.7分。。。而比照"用语言模子优化提醒词"的要领（VideoTPO）
，，，，，，，在VBVR-Bench上不升反降
，，，，，，，得分反而下降了0.032；；；在RULER-Bench上虽然有3.9分的提升
，，，，，，，但相比基线的提升幅度依然有限
，，，，，，，并且在30个子使命里
，，，，，，，有4个使命的得分反而更低了。。。 这套新方规则在VBVR-Bench上把得分从0.666直接提升到0.781
，，，，，，，整体提升0.115
，，，，，，，并且在域内使命和域外使命上都有一致的提升。。。在RULER-Bench上更是从46.4跃升至68.2
，，，，，，，提升了整整21.8分
，，，，，，，并且在所有30个子使命里无一破例地取得了提升。。。两个基准综合下来的平均提升幅度抵达16.7分
，，，，，，，远超其他所有比照要领
，，，，，，，并且所用的盘算时间与"天生5个候选"计划相当。。。 研究团队还做了大宗的消融实验
，，，，，，，也就是把要领里的每个组成部分逐一"拆除"
，，，，，，，看看少了哪块会损失几多
，，，，，，，从而验证每个设计决议的须要性。。。 关于优化步数的实验清晰展示了一条先升后平再微降的曲线：从0步到16步
，，，，，，，得分稳步从0.666升至0.781；；；从16步到20步
，，，，，，，仅再提升0.002；；；继续到40步
，，，，，，，得分反而微降至0.778。。。这说明过多优化会让模子过于"迎合考官"
，，，，，，，反而带来视觉上的退化。。。配合早；；；
，，，，，，，现实平均只需16步就能抵达最佳状态。。。 关于奖励设计
，，，，，，，研究团队划分测试了只去掉"目的告竣问题"和只去掉"历程监视问题"两种变体。。。去掉历程监视后
，，，，，，，得分从0.781降至0.758；；；而去掉目的告竣问题后
，，，，，，，得分大幅降至0.692。。。两者缺一都会造成损失
，，，，，，，但目的告竣问题的影响更大。。。定性实验也提供了直观诠释：在方块移动使命里
，，，，，，，去掉目的告竣问题后
，，，，，，，模子会很好地坚持方块的外观
，，，，，，，但就是不把方块移到准确位置；；；而在蜗牛移动使命里
，，，，，，，去掉历程监视问题后
，，，，，，，模子为了让蜗牛"抵达目的区域"走了一条捷径——让一只手伸进来放了另一只蜗牛
，，，，，，，而不是移动原来那只。。。两类监视相辅相成
，，，，，，，缺任何一类都会导致逻辑误差。。。 研究团队还测试了用"通用问题"替换"使命特定问题"的效果：把每次针对使命自动天生的详细考题
，，，，，，，替换成"这个使命的目的有没有告竣"和"历程有没有违规"这两个笼统的通用问题
，，，，，，，得分从0.781降至0.712。。。这说明考题需要针对每个详细使命量身定制
，，，，，，，笼统的通用标准基础抓不住种种使命的要害要点。。。 关于使用视觉语言模子在推理阶段直接优化与用它做离线后训练的比照
，，，，，，，实验同样很有说服力：若是改成先用视觉语言模子的反响在训练阶段调解模子
，，，，，，，然后直接推理
，，，，，，，得分仅为0.688；；；若是用非可微分的强化学习方法做后训练
，，，，，，，得分为0.681；；；只有实时在线优化的方法才抵达了0.781的最高水平。。。这批注视频推理使命需要针对每个详细实例的个性化顺应
，，，，，，，而不是一次性的通用训练。。。 一个要领的价值
，，，，，，，不但在于它在标准设置下体现多好
，，，，，，，更在于它换了差别的零件之后还能不可稳固事情。。。研究团队用差别的视觉语言模子和差别的视频天生模子划分做了验证。。。 在视觉语言模子的选择上
，，，，，，，用InternVL3-8B替换默认的Qwen3-VL-4B
，，，，，，，RULER-Bench得分为68.1
，，，，，，，险些持平；；；换成更强的Qwen3-VL-8B
，，，，，，，得分进一步提升到69.2。。。并且研究团队发明
，，，，，，，视觉语言模子在Video-MME这个视频明确测评上的得分越高
，，，，，，，在RULER-Bench上带来的提升就越大
，，，，，，，两者之间有相当强的正相关关系（相关系数平方R?=0.733）。。；；；痪浠八
，，，，，，，"监考先生"越厉害
，，，，，，，学生前进越显着——这个直觉上合理的关系获得了数据支持。。。 在视频天生模子的选择上
，，，，，，，把Wan2.2-5B替换为更小的HunyuanVideo-1.5B（一个更轻量级的视频天生模子）
，，，，，，，基线得分只有35.8
，，，，，，，但加上这套优化框架后
，，，，，，，得分提升到了44.5
，，，，，，，提升幅度依然可观。。。这说明这套框架不依赖于特定的视频天生模子架构
，，，，，，，具有较好的迁徙性。。。 论文专门剖析了要领失效的情形
，，，，，，，这是一个难堪的忠实。。。研究团队手动标注了50个失败案例
，，，，，，，发明其中84%（42个）的失败来自视觉语言模子的感知过失
，，，，，，，只有16%（8个）来自考题自己的设计过失。。。 在Raven渐进矩阵（一种类似图形纪律判断题的使命）的失败案例里
，，，，，，，视觉语言模子误判了准确谜底应该是什么形状
，，，，，，，天生了一个过失的目的考题
，，，，，，，效果优化偏向从一最先就跑偏了——哪怕视频真的知足了这个过失考题的要求
，，，，，，，也得不到准确谜底。。。这属于"考题蜕化"类失败。。。 在铅笔变色使命里
，，，，，，，铅笔的颜色着实只有一小块区域没有完全酿成红色
，，，，，，，视觉语言模子在检查时遗漏了这个细节
，，，，，，，误以为已经完全变好了
，，，，，，，于是提前阻止了优化。。。铅笔最终带着一点点剩余的颜色过失被输出了。。。这属于"感知精度缺乏"类失败。。。 这两类失败指向了明确的刷新偏向：一是需要一个机制来验证自动天生的考题是否准确
，，，，，，，二是需要引入感知精度更高的视觉语言模子来充当监考先生
，，，，，，，尤其是对细粒度视觉转变的判断能力要更强。。。 归根结底
，，，，，，，这项研究展现了一个很有意思的偏向：让一个"懂规则但不会画"的AI来监视一个"会画但不懂规则"的AI
，，，，，，，在推理时实时纠偏
，，，，，，，效果远比单独依赖任何一方要好得多。。。视觉语言模子和视频天生模子之间
，，，，，，，并不是替换关系
，，，，，，，而是可以形成一种互补的"教学关系"——一个认真明确和评判
，，，，，，，一个认真天生和执行。。。把这两种能力组合起来
，，，，，，，才华让"用视频来推理"这个偏向走得更远。。。 未来或许尚有许多可以探索的地方：能不可让考题天生更可靠
，，，，，，，能不可引入更细腻的视觉反响
，，，，，，，能不可让这套框架迁徙到更多类型的视频推理使命。。。这个领域还很年轻
，，，，，，，但这项事情为它搭建了一个很清晰的思绪框架。。。对这些问题感兴趣的读者
，，，，，，，可以通过arXiv编号2606.02564找到完整论文
，，，，，，，深入相识每个手艺细节。。。 A：语言模子写提醒词的方法（VLM-as-Solver）依赖文字形貌来指导视频天生
，，，，，，，但视频模子往往无法把详尽的文字指令转化为准确的视觉行动。。。VLM-as-Teacher则完全不靠文字计划
，，，，，，，而是让语言模子直接"看视频、打分、纠错"
，，，，，，，把评判效果转化为数学信号反向传给视频模子
，，，，，，，让它在天生历程中实时修正。。。实质区别在于：一个是"告诉你怎么做"
，，，，，，，另一个是"看着你做、随时纠正"。。。 A：LoRA是一种轻量级的"插件？？
？"
，，，，，，，可以明确为给视频天生模子套上的一个小型适配器。。。只调解LoRA而不动原始模子
，，，，，，，一是由于LoRA参数目极小
，，，，，，，盘算本钱低
，，，，，，，适合实时优化；；；二是由于差别使命需要差别的适配
，，，，，，，原始模子的通用能力需要保存
，，，，，，，只让插件做使命专属的微调
，，，，，，，用完即止
，，，，，，，不会影响模子处置惩罚其他使命的能力。。。 A：VBVR-Bench主要磨练结构化的符号推理
，，，，，，，好比空间移动、图形变换这类有明确规则和标准谜底的使命；；；RULER-Bench则偏向开放性的通用场景推理
，，，，，，，涵盖科学、人文、视觉感知等多种类型。。。VLM-as-Teacher在两个基准上都有显著提升
，，，，，，，但在RULER-Bench上提升更大（21.8分比照0.017）
，，，，，，，尤其在颜色、计数、偏向、异常检测等需要准确视觉执行的使命上提升最为突出。。。