古板的CUA主要依赖原子化GUI操作，，，例如点击、输入、拖拽、转动。。
。。这类操作泛化性强，，，只要界面上能看到按钮，，，理论上模子就能点；；；；但它也有显着短板：办法长、误差容易累积，，，在重大使命中很容易泛起cascading errors。。
。。 相反，，，tool calls或API-based operations往往更高效、更准确。。
。。例如在LibreOffice里批量处置惩罚表格，，，GUI-only计划可能需要一串冗长的菜单点击和参数设置，，，而工具挪用可能一个API就能完成。。
。。 在hybrid GUI-Tool action space中，，，Agent每一步都站在一个岔路口：左边是GUI，，，右边是Tool。。
。。GUI泛化强但慢，，，Tool快但依赖笼罩与上下文条件。。
。。若是模子缺少路径选择能力，，，就会泛起两类典范失败: 最后，，，系统不会简朴地把所有GUI操作都替换成工具，，，而是随机采样部分工具挪用，，，再替换回对应GUI子序列，，，形成多种GUI与Tool交织的轨迹。。
。。 其中，，，R_fmt和R_acc划分是标准名堂奖励与使命乐成奖励；；；；R_tool和R_length则是ToolCUA专门设计的两项轨迹级奖励，，，并且它们只在乐成轨迹上激活，，，阻止模子从失败执行里学到过失偏好。。
。。 在数据构建时，，，每个使命会带一个task-level的tool-beneficial标记：t_b = 1体现这个使命适适用工具，，，t_b = -1体现这个使命不适适用工具。。
。。与此同时，，，c体现整条轨迹里的tool calls数。。
。。 它要解决的正是前面提到的hybrid confusion：有些模子显着该用工具却不必，，，有些模子则在不应用的时间乱用。。
。。R_tool的作用，，，就是把工具是否合适这件事从使命乐成里单独拎出来训练。。
。。 这样设计的利益是，，，模子会自然倾向于探索更短的乐成路径。。
。。而在许多场景里，，，更短的路径恰恰意味着：用一个高层工具替换一长串冗余GUI操作。。
。。因此，，，R_length实质上是在勉励模子发明更高效的GUI-Tool execution path。。
。。 以是，，，这一阶段的焦点并不是让模子挪用更多工具，，，而是让它学会两件事：什么时间工具真的合适，，，什么时间这条执行路径真的更短。。
。。 ToolCUA主要在OSWorld-MCP上评测。。
。。这个benchmark在古板OSWorld的基础上引入了hybrid GUI-Tool action space，，，笼罩典范GUI actions、150+ tools和主流桌面应用，，，适合权衡模子在真实混淆行动空间中的执行能力。。
。。 同样在rl_dynamics里可以看到，，，去掉R_tool和R_length后，，，只保存标准的R_acc与R_fmt，，，accuracy曲线会显着更不稳固，，，在训练step8-11左右泛起下降，，，最终与完整ToolCUA之间有约莫7个点的差别。。
。。 这个案例展示的不是工具永远比GUI好，，，而是: 当使命焦点是结构化表格操作时，，，Tool可以绕过懦弱的逐步GUI导航，，，用更确定的方法完成使命。。
。。 接下来，，，更值得继续和推进的偏向，，，是构建更大规模的CUA工具，，，训练更大规模的CUA基座模子，，，让CUA原生具有hybrid actions的能力，，，更好地解决人类重大问题。。
。。