这项由中国传媒大学媒体信息与内容生产研究组（MIPG）联合新加坡国立大学、USEIT AI配合完成的研究，，，，，，，于2026年5月以预印本形式宣布，，，，，，，论文编号为arXiv:2605.19484。。。。。。感兴趣的读者可通过该编号查找完整论文。。。。。。 你有没有想过，，，，，，，用AI天生几段视频素材之后，，，，，，，下一步要做什么？？？？？？天生视频这件事，，，，，，，AI已经越来越厉害了——用Keling、即梦这样的工具，，，，，，，输入一段文字形貌，，，，，，，几秒钟就能天生一段视频片断。。。。。。但"天生片断"和"做出一部完整的视频"之间，，，，，，，还隔着一座大山：你得把这些素材导入专业软件，，，，，，，剪辑、调色、加特效、对齐音频，，，，，，，然后才华导出制品。。。。。。这个历程对通俗人来说费时艰辛，，，，，，，对AI来说同样是个重大的挑战。。。。。。 正是为了测试AI是否真的能胜任这项事情，，，，，，，研究团队构建了一个叫做 **CutVerse** 的测试平台。。。。。。这个平台专门用来磨练AI智能体（也就是能够自主操作电脑的AI程序）在真实专业视频编辑软件中的现实体现。。。。。。测试效果说真话有些令人啼笑皆非——即即是当今最强的AI模子，，，，，，，在重大的视频后期制作使命上，，，，，，，乐成率也只有36%左右。。。。。。这意味着，，，，，，，让AI自力完成一个专业视频项目，，，，，，，现在还远远没有到"随叫随用"的水平。。。。。。 研究团队还借此提出了一个新的创作范式，，，，，，，他们称之为"气氛剪辑"（Vibe Cutting）：AI天生工具认真提供原始素材，，，，，，，AI智能体认真在专业软件里完成后续的所有编辑事情，，，，，，，整个流程从创意到成片，，，，，，，尽可能镌汰人工干预。。。。。。这是一个很有吸引力的愿景，，，，，，，但从测试数据来看，，，，，，，通往这个愿景的路还很长。。。。。。 在讨论CutVerse之前，，，，，，，有须要先搞清晰"AI智能体操作电脑"这件事的配景。。。。。。研究领域有一类专门的AI，，，，，，，不是用来天生图片或回覆问题的，，，，，，，而是能够像人一样盯着电脑屏幕、移动鼠标、点击按钮、输入键盘，，，，，，，从而完成种种电脑操作使命。。。。。。这类AI被称为"盘算机使用智能体"（Computer Use Agent，，，，，，，简称CUA）。。。。。。 近年来，，，，，，，这类AI在一些通例使命上体现得相当不错，，，，，，，好比在网页上搜索信息、填写表格、整理文件夹。。。。。。就似乎一个刚加入事情的新员工，，，，，，，处置惩罚一样平常行政事情没什么大问题。。。。。。但当你把他推进一个专业的视频剪辑间，，，，，，，面临Adobe Premiere Pro那密密麻麻的界面，，，，，，，要求他完成一个包括调色、音频对齐、特效叠加的完整项目时，，，，，，，情形就完全差别了。。。。。。 专业视频软件的界面密度极高，，，，，，，光是After Effects的工具栏，，，，，，，就密密麻麻排着几十个没有文字标注的图标。。。。。。操作流程很是长，，，，，，，一个简朴的"给视频加一个转场效果"，，，，，，，可能需要先找到效果面板、搜索对应效果、把它拖到时间轴的准确位置、双击翻开参数设置、调解数值——任何一步蜕化，，，，，，，整个操作就失败了。。。。。。别的，，，，，，，这些操作还涉及多个软件之间的协作，，，，，，，好比先在ComfyUI里天生素材，，，，，，，再在Premiere里剪辑，，，，，，，再在DaVinci Resolve里调色，，，，，，，最后导出。。。。。。这种跨软件的事情流程，，，，，，，对AI来说是一个全新的、极其难题的挑战。。。。。。 现有的AI测试平台险些没有笼罩这个领域。。。。。。大大都平台测试的是简朴的网页操作或基础的文件治理，，，，，，，没有专门针对专业创意软件的系统性评测。。。。。。CutVerse的泛起，，，，，，，就是为了填补这个空缺。。。。。。 研究团队构建CutVerse的历程，，，，，，，有点像大学教授设计一门专业课的期末考试——既要笼罩所有主要知识点，，，，，，，又要有足够的区分度，，，，，，，还要包管考题真实反应现实事情中的需求。。。。。。 整个历程从招募专业职员最先。。。。。。研究团队请来了10位在视频后期制作和AI创作工具上都有富厚履历的专业创作者。。。。。。这些人不是通俗的兼职标注员，，，，，，，而是真正的行业从业者，，，，，，，他们的事情就是在Premiere Pro、After Effects这些软件里摸爬滚打。。。。。。 这10位专业职员总共设计并录制了186个使命，，，，，，，涵盖7款专业软件：Adobe Premiere Pro、Adobe After Effects、Adobe Photoshop、DaVinci Resolve、即梦（JianYing）、可灵（Keling）和ComfyUI。。。。。。这186个使命并不是随机堆砌的，，，，，，，而是凭证真实的视频制作流程全心分类，，，，，，，分成了九大种别。。。。。。 这九大种别从简朴到重大依次是：软件启动与初始设置（最基础的操作，，，，，，，好比翻开软件、新建项目）、预览与验证（检查操作是否准确）、天生式事情流（在AI天生工具中使用提醒词）、资产导入与治理（把素材文件导入软件）、导出与交付（把制品导出）、时间轴编辑与排列（在时间轴上剪辑视频片断）、音频与节奏编辑（处置惩罚配景音乐、音效对齐）、效果与视觉调解（添加特效、色彩校正）、遮罩与追踪（在视频中对特定区域举行细腻控制）。。。。。。 每一个使命，，，，，，，专业职员在录制操作视频时，，，，，，，同时纪录下每一次鼠标点击和键盘按键的准确坐标和时间。。。。。。这些原始录像和操作日志随后被送进研究团队开发的一套"剖析器"（Parser）举行处置惩罚。。。。。。这个剖析器就像一个仔细的速记员，，，，，，，能把长达几分钟的操作录像，，，，，，，准确地剖析成一步一步有意义的操作序列，，，，，，，每一步都标注着"这一步之前屏幕是什么状态"和"这一步之后屏幕爆发了什么转变"。。。。。。 更主要的是，，，，，，，剖析器还会把每个完整使命拆分成若干个"里程碑"（Milestone）。。。。。。好比爬一座山，，，，，，，最终目的是抵达山顶，，，，，，，但沿途有几个必需经由的检查站——通过了1号营地、2号营地，，，，，，，才华抵达巅峰。。。。。。每个里程碑都有配套的视觉问答题：在这个阶段，，，，，，，屏幕上应该泛起什么？？？？？？AI必需真正完成这个操作，，，，，，，而不但仅是"声称"自己完成了。。。。。。 这套设计很是巧妙，，，，，，，由于它解决了一个评估AI的焦点难题：怎样判断AI是真的做对了，，，，，，，照旧只是在说"我已经完成了"？？？？？？通过逐一核对每个里程碑的视觉状态，，，，，，，测试系统能精准定位AI在哪一步卡住了。。。。。。 光有考题还不敷，，，，，，，还需要一个真实的科场。。。。。。研究团队搭建了基于Windows虚拟机的测试情形，，，，，，，每个使命最先时，，，，，，，虚拟机都会从一个预先生涯的准确状态（称为"检查点"）启动，，，，，，，确保每次测试的起始条件完全一样，，，，，，，就像每次考试前把试卷整整齐齐摆在桌上，，，，，，，一道题都未几一道题都不少。。。。。。 AI智能体在这个虚拟机里的操作方法，，，，，，，和真人完全相同：它能看到屏幕截图，，，，，，，然后决议下一步要点击那里、要按哪个键。。。。。。它无法使用任何"作弊"手段——好比直接挪用软件的后台接口、读取隐藏的文件数据——只能依附"看屏幕"来操作，，，，，，，就像一个蒙着眼睛只能靠触摸来事情的人……差池，，，，，，，更准确地说，，，，，，，是只能靠眼睛但没有手的人——它能望见，，，，，，，然后发出指令，，，，，，，让虚拟的鼠标和键盘执行行动。。。。。。 在评估方面，，，，，，，研究团队接纳了"VLM作为裁判"的方法。。。。。。当AI完成一个使命后，，，，，，，系统会用GPT-5.4和Claude-4.6-Opus两个强盛的语言模子来逐一检查每个里程碑是否真的告竣了——通过比照截图和预设的问答题来判断。。。。。。为了验证这个自动评判系统的可靠性，，，，，，，研究团队还专门做了人工比照研究：让专业职员和自动系统划分评判300个操作轨迹，，，，，，，效果两者的吻合率高达98.3%到99%。。。。。。；；；；痪浠八，，，，，，，这套自动评判系统险些和专业职员的判断一样准确。。。。。。 在正式汇报测试效果之前，，，，，，，先来感受一下这套问题的难度。。。。。。整个数据集的录制时间凌驾2.43小时，，，，，，，包括3484个自力的操作行动，，，，，，，平均每分钟爆发23.8次操作。。。。。。每个使命平均需要18.73步操作才华完成，，，，，，，而最重大的使命甚至需要239步。。。。。。 作为比照，，，，，，，常见的网页操作类AI测试平台，，，，，，，使命平均只需要几步到十几步。。。。。。18.73步的平均值已经远超这些平台，，，，，，，而239步的极端案例则相当于让AI自动完成一个需要人类操作者盯着屏幕专注事情快要4分钟的重大项目。。。。。。 再来看操作类型的漫衍，，，，，，，这个细节很能说明问题。。。。。。在所有3484个操作中，，，，，，，鼠标在时间轴上的操作占了总操作量的46.07%，，，，，，，而对图层和轨道的控制操作占了25.32%。。。。。。这两类加起来凌驾70%的操作，，，，，，，都是对着那些像河流一样横跨屏幕的"时间轴"举行的。。。。。。时间轴操作和网页上点击按钮完全差别——没有明确的界线，，，，，，，没有标准的标签，，，，，，，需要准确到像素级别的拖拽和定位。。。。。。对AI来说，，，，，，，这不是"找到写着'确认'的按钮然后点击"，，，，，，，而是"找到时间轴上第3.2秒的位置，，，，，，，然后在那里准确地剪断视频"。。。。。。 九大类使命中，，，，，，，重漂后各有差别。。。。。。效果与视觉调解使命和遮罩追踪使命被标记为"极限难度"，，，，，，，前者平均需要20.27步操作、耗时52.81秒，，，，，，，后者平均需要25.40步、耗时更是高达72.98秒。。。。。。相比之下，，，，，，，软件启动使命只需平均7.56步、31.18秒，，，，，，，难度标记为"低"。。。。。。这种差别清晰地勾勒出一张专业视频制作手艺的难度地图。。。。。。 研究团队选取了5款代表性的AI模子加入测试，，，，，，，涵盖了现在业界最强的选手。。。。。。其中有两款商业闭源模子：Anthropic公司的Claude-Opus-4.6和Google DeepMind的Gemini-3-flash；；；；；尚有三款开源模子：阿里巴巴的Qwen3-32B、字节跳动旗下的UI-TARS-1.5-7B，，，，，，，以及美团的EvoCUA-32B。。。。。。这5款模子代表了现在AI智能体领域的顶尖水平。。。。。。 测试在统一的Windows 11 Pro虚拟机情形下举行，，，，，，，每次测试最先时系统状态完全相同。。。。。。AI模子在每一步操作时，，，，，，，能看到目今屏幕截图和最近5次操作的历史纪录，，，，，，，但不会获得"下一步应该做什么"的提醒——它必需自己判断。。。。。。 然而，，，，，，，这些数字需要放在详细配景下才有意义。。。。。。当研究职员把使命按类型脱离来看时，，，，，，，画面就变得越发有趣——或者说越发残酷了。。。。。。 在"程序性操作"类使命（包括软件启动、导出交付、资产治理、预览验证）上，，，，，，，所有模子体现都相当精彩。。。。。。以天生式事情流使命为例，，，，，，，5款模子所有获得了满分1.000，，，，，，，就是说每次测试所有乐成。。。。。。导出与交付使命中，，，，，，，Claude乐成率抵达1.000，，，，，，，其他模子也都在0.917左右。。。。。。这些使命的配合特点是操作办法相对牢靠、有明确的视觉反响。。。。。。 但当测试切换到"焦点媒体编辑"类使命时，，，，，，，情形急转直下。。。。。。遮罩与追踪使命中，，，，，，，UI-TARS的乐成率跌至0.095——险些即是十次里只有不到一次乐成。。。。。。就连体现最好的Gemini在这类使命上也只有0.381，，，，，，，Claude只有0.286。。。。。。效果与视觉调解使命中，，，，，，，Qwen的乐成率只有0.207，，，，，，，意味着五次里只有约一次能乐成。。。。。。音频与节奏编辑使命中，，，，，，，Claude和Qwen的乐成率都只有0.333。。。。。。 这个落差惊人。。。。。。就像一个能够熟练操作电梯、自动门的机械人，，，，，，，一旦要求它拿起外科手术刀做细腻操作，，，，，，，连忙就显得力有未逮了。。。。。。 CutVerse测试还展现了一个很是有价值的发明，，，，，，，这个发明甚至比纯粹的乐成率数字更有洞察力。。。。。。研究团队同时纪录了"里程碑乐成率"和"使命整体乐成率"，，，，，，，而这两个数字之间保存显著的差别。。。。。。 以音频与节奏编辑使命为例，，，，，，，Claude的里程碑乐成率高达0.929，，，，，，，这意味着在这类使命的中心检查点上，，，，，，，Claude有92.9%的概率都能通过。。。。。。但Claude在这类使命上的整体乐成率只有0.333。。。。。。这就好比一个学生在期中考、期末着述业上都拿了高分，，，，，，，但最终综合效果却缺乏格——问题不是出在单个办法上，，，，，，，而是出在能否把所有办法串联起来、不犯任何过失地完成整个流程上。。。。。。 Gemini的情形类似：音频使命里程碑乐成率0.786，，，，，，，但整体使命乐成率只有0.500。。。。。。这种"里程碑和使命之间的一致性缺口"在所有模子上都普遍保存，，，，，，，尤其在重大编辑类使命中最为显着。。。。。。 这个发明展现了目今AI智能体的一个根天性弱点：它们能够完成单个操作办法，，，，，，，但无法可靠地在几十步、几百步的长序列操作中坚持始终如一的准确性。。。。。。任何一步蜕化，，，，，，，后面的操作可能就所有乱套了。。。。。。研究团队还统计了各模子未能完成使命的比例——Claude未完成31.7%的使命，，，，，，，Gemini未完成32.8%，，，，，，，EvoCUA未完成48.4%，，，，，，，Qwen未完成51.6%，，，，，，，UI-TARS未完成55.9%。。。。。。 第一种失败叫做"组件误认"。。。。。。专业视频软件里有大宗图标细密排列在一起，，，，，，，许多图标既小又没有文字说明，，，，，，，全靠形状来区分。。。。。。研究团队发明，，，，，，，AI对那些常见的、有文字标注的按钮还算熟悉，，，，，，，但一旦遇到专业领域特有的工具图标——好比After Effects工具拦亓"Roto Brush"（旋转笔刷）图标——就很容易认错，，，，，，，点到了旁边的另一个工具上。。。。。。论文中有一个详细例子：AI在实验选择一个工具时，，，，，，，以为目的是"从左边数第13个图标"，，，，，，，但现实操作时点到了过失的位置，，，，，，，基础没有激活需要的工具。。。。。。 第二种失败叫做"空间定位禁绝"。。。。。。视频时间轴就像一把细腻的尺子，，，，，，，上面密布着时间刻度。。。。。。要在时间轴上准确的某一秒切断视频，，，，，，，对人来说是轻车熟路，，，，，，，但AI经常；；；；岬阃帷盍思父鱿袼，，，，，，，效果切断的位置和预期相差了半秒甚至更多。。。。。。这种误差在通俗网页操作中不可问题，，，，，，，但在视频剪辑中，，，，，，，半秒的误差可能就意味着整个节奏完全对不上。。。。。。 第三种失败叫做"缺乏全局感知"。。。。。。有个生动的案例：AI在执行一个"把视频片断拖到时间轴"的使命时，，，，，，，由于目今视图只显示了时间轴的一小部分，，，，，，，AI没有先放大视图审查全貌，，，，，，，就直接最先拖动。。。。。。效果它以为时间轴上尚有空位，，，，，，，现实上那段视频已经保存了，，，，，，，最终把统一段视频重复拖了进去，，，，，，，造成内容重复的过失。。。。。。这就像一小我私家在整理书架时，，，，，，，眼睛只盯着眼前一格，，，，，，，没有先看看旁边是否已经放了书。。。。。。 第四种失败叫做"视觉反响盲区引发的死循环"。。。。。。许多操作在执行后，，，，，，，屏幕上不会连忙泛起显着的转变——好比按下了某个快捷键，，，，，，，效果要等几步之后才会体现出来。。。。。。这种情形下，，，，，，，AI由于看不到显着的"乐成信号"，，，，，，，会误以为操作没有执行乐成，，，，，，，于是重复执行同样的操作，，，，，，，陷入一个无休止的循环，，，，，，，把几十步的操作时间所有铺张在重复点击统一个地方上，，，，，，，直到抵达操作步数上限。。。。。。 研究团队还分软件统计了AI的体现，，，，，，，这张数据表同样很有说服力。。。。。？？？？？？闪椋↘eling）这款AI视频天生工具的使命乐成率最高，，，，，，，Claude和Gemini都抵达了0.815到0.852。。。。。。ComfyUI（一款节点式AI图像事情流工具）其次，，，，，，，Claude抵达0.667。。。。。。这两款工具的配合特点是：界面相对规整，，，，，，，操作以点击和输入文字为主，，，，，，，视觉结构清晰。。。。。。 随着软件重漂后上升，，，，，，，效果就最先下滑。。。。。。DaVinci Resolve（专业调色剪辑软件）的使命乐成率在0.45到0.75之间，，，，，，，Premiere Pro在0.396到0.642之间，，，，，，，Photoshop在0.424到0.576之间，，，，，，，After Effects最低，，，，，，，Claude抵达0.577，，，，，，，而Qwen和UI-TARS只有0.269。。。。。。 After Effects是所有软件中难度最高的，，，，，，，它的平均使命步数是14.81步，，，，，，，但每步操作的重漂后远超其他软件，，，，，，，许多操作需要同时按住多个键配合鼠标拖拽，，，，，，，还需要对软件内部的层级结构有深入明确。。。。。。这再一次印证了研究团队的判断：专业创意软件的焦点挑战不在于操作数目，，，，，，，而在于操作的精度、协调性和对专业知识的依赖。。。。。。 研究团队在论文中提出了"气氛剪辑"（Vibe Cutting）这个看法，，，，，，，形貌的是这样一个未来场景：用户提出创作需求（好比"帮我做一个3分钟的恐龙大战哥斯拉视频"），，，，，，，AI天生工具自动天生所需的视频素材，，，，，，，然后AI智能体自动进入专业剪辑软件，，，，，，，完成所有的后期制作事情，，，，，，，最终交付一个可以直接宣布的视频。。。。。。整个历程，，，，，，，用户险些不需要下手。。。。。。 这个愿景若是实现，，，，，，，意味着通俗人也能制作出专业级别的视频内容，，，，，，，视频创作的门槛将大幅降低。。。。。。这不但是对小我私家创作者的利好，，，，，，，对广告制作、影视工业、教育内容、商业营销来说都是倾覆性的改变。。。。。。 然而，，，，，，，CutVerse的测试效果清晰地告诉我们：这一天还没有到来。。。。。。目今最强的AI智能体，，，，，，，在专业视频软件中的体现就像一个刚入行的实习生——处置惩罚简朴的、有明确办法的事情还行，，，，，，，但一旦面临需要专业判断、细腻操作、长时间专注的重大使命，，，，，，，失误率就急剧攀升。。。。。。 从研究的角度来看，，，，，，，CutVerse的价值不但在于展现了这个差别的保存，，，，，，，更在于准确定位了差别在那里：不是AI不敷"智慧"，，，，，，，而是AI在准确空间定位、长序列操作可靠性、重大界面识别和跨模态协调上保存系统性的短板。。。。。。这些发明为未来刷新AI智能体指明晰偏向。。。。。。 归根结底，，，，，，，这项研究做了一件很是务实的事：它不是在展望"AI未来将怎样改变天下"，，，，，，，而是在丈量"AI现在究竟能做什么、还不可做什么"。。。。。。36%的整体乐成率，，，，，，，听起来可能有点低，，，，，，，但放在这样一个从未被系统性测试过的专业领域里，，，，，，，它既是一个忠实的评估基准，，，，，，，也是一个明确的斗争目的。。。。。。 关于通俗的视频创作者来说，，，，，，，短期内还不必担心AI会把你的事情所有替换——至少在那些需要细腻操作和专业判断的部分，，，，，，，人类的履历和眼光依然是不可替换的。。。。。。但若是你是一个有兴趣深入相识这个领域的研究者或工程师，，，，，，，CutVerse提供了一个极有价值的测试平台和刷新蹊径图。。。。。。 A：CutVerse涵盖了7款专业软件，，，，，，，划分是Adobe Premiere Pro、Adobe After Effects、Adobe Photoshop、DaVinci Resolve、即梦（JianYing）、可灵（Keling）和ComfyUI。。。。。。测试使命分为九大种别，，，，，，，包括软件启动、时间轴编辑、音频处置惩罚、效果调解、遮罩追踪等，，，，，，，共186小我私家工验证使命。。。。。。 A：研究发明了四个主要失败缘故原由：一是认错专业工具图标（尤其是没有文字标注的图标）；；；；；二是在时间轴上的操作位置不敷精准，，，，，，，差几个像素就会导致剪辑点偏移；；；；；三是缺乏对整个事情区的全局感知，，，，，，，只盯着局部操作而忽略整体状态；；；；；四是当操作执行后屏幕没有显着转变时，，，，，，，AI会误以为操作失败，，，，，，，重复执行统一个行动陷入死循环。。。。。。 A：在186个使命的整体测试中，，，，，，，Claude-Opus-4.6体现最佳，，，，，，，整体使命乐成率为68.3%，，，，，，，Gemini-3-flash紧随厥后抵达67.2%。。。。。。但需要注重的是，，，，，，，这个效果在重大的焦点编辑使命上会大幅下滑，，，，，，，例如在遮罩追踪类使命中，，，，，，，Claude的乐成率只有28.6%，，，，，，，Gemini也只有38.1%。。。。。。