这项由美国伊利诺伊大学厄巴纳-香槟分校（UIUC）与微软研究院联合开展的研究，，
，，于2026年6月宣布在预印本平台arXiv上，，
，，论文编号为arXiv:2606.02031。。。。
。。有兴趣深入相识的读者可以通过该编号盘问完整论文。。。。
。。 天天，，
，，全球有数十亿人翻开浏览器，，
，，在网页上搜索商品、填写表单、比价购物、查阅信息。。。。
。。这些操尴尬刁难人类来说万无一失，，
，，但对AI来说，，
，，却是一座难以翻越的山。。。。
。。网页是动态的、杂乱的、充满弹窗和验证码的，，
，，并且每隔一段时间就会改版——这对需要"看懂网页、点对地方、完成使命"的AI智能体来说，，
，，简直是恶梦般的训练场。。。。
。。 现在最厉害的网页AI智能体，，
，，基本都掌握在OpenAI、Google这样的科技巨头手中，，
，，属于差池外果真训练细节的"黑箱系统"。。。。
。？？？瓷缜淙灰苍谄鹁，，
，，但普遍依赖一种叫做"监视学习"的方法——也就是先网络大宗人类操作网页的树模录像，，
，，再让AI模拟。。。。
。。这种方法有个致命短板：录像拍摄既腾贵又费时，，
，，并且录制完成的一刻起就最先"过时"，，
，，基础跟不上互联网日新月异的转背叛奏。。。。
。。 正是在这样的配景下，，
，，UIUC与微软的研究团队决议另辟蹊径。。。。
。。他们的焦点思绪是：与其让AI死记硬背人类的操作树模，，
，，不如让AI直接在真实网站上"自己去试"，，
，，从乐成和失败中学习。。。。
。。这个偏向被称为"在线强化学习"，，
，，关于视觉化的网页智能体来说，，
，，它此前险些照旧一片空缺地带。。。。
。。 研究团队将这套完整的训练框架命名为OpenWebRL，，
，，并在此基础上训练出了一个4B参数规模的模子OpenWebRL-4B。。。。
。。这个模子仅凭400条初始树模轨迹和2200个在线训练使命，，
，，就在三个顶级网页智能体测评基准上刷新了开源最高分，，
，，部分指标甚至逾越了OpenAI和Google的商业系统。。。。
。。 一小我私家学骑自行车，，
，，会从摔倒中体验到平衡的主要性，，
，，并在下次调解姿势。。。。
。。这个反响是即时的、清晰的。。。。
。。但让AI在网页上学习完成使命，，
，，面临的反响情形要重大得多。。。。
。。网页是活的——今天还能正常显示的按钮，，
，，明天可能被移走；；；；今天能跑通的登录流程，，
，，明天可能多了一道验证码；；；；某些网站会把频仍的自动化操作识别为"机械人"并直接封闭会见。。。。
。。这些都是"情形噪声"，，
，，很容易让AI误以为是自己做错了，，
，，从而学偏。。。。
。。 更难的问题在于：网页使命的"乐成与否"往往要比及整个使命完成后才华判断。。。。
。。你无法在AI点击第三个按钮的时间告诉它"这一步做得对"，，
，，只能在它最终回覆出"这款鞋的最低价是299元"之后，，
，，才华评判整个历程对差池。。。。
。。这种"事后才知道效果"的反响机制，，
，，对逊с法的设计提出了很高的要求。。。。
。。 与此同时，，
，，视觉信息的处置惩罚价钱极高。。。。
。。每一步操作，，
，，AI都要"看"一张网页截图——这张截图可能包括数百个元素，，
，，消耗大宗盘算资源。。。。
。。若是每一步历史截图都保保存AI的"影象"中，，
，，一个30步的使命轨迹甚至会凌驾大大都模子的上下文承载上限。。。。
。。 研究团队在论文中系统性地梳理了这些挑战，，
，，并为每一个挑战设计了详细的解决计划，，
，，这些计划配合组成了OpenWebRL框架的焦点。。。。
。。 可以把这套系统明确为给AI搭建了一个"沙盒游乐场"——每个训练使命都在自力的虚拟浏览器窗口中运行，，
，，互不滋扰，，
，，就像每位学员都有自己专属的训练跑道，，
，，不会由于别人的失误影响自己。。。。
。。这套基础设施基于Playwright和Chromium构建，，
，，运行在Kubernetes容器化情形中，，
，，支持上百个浏览器实例同时并行运作。。。。
。。 但真实网页的贫困在于，，
，，即便情形搭好了，，
，，种种意外随时会爆发：某个网站加载太慢、某次网络请求超时、某页面突然弹出验证码、某个按钮由于反自动化机制而拒绝被点击。。。。
。。研究团队为此设计了完善的"容错机制"——系统会自动区分"是AI做错了"照旧"是网站出问题了"，，
，，并将失败缘故原由详细纪录下来，，
，，以便后续剖析。。。。
。。关于那些重复泛起网络故障的网站，，
，，系统还会自动将其列入黑名单，，
，，阻止训练资源铺张在基础无法会见的地点上。。。。
。。 仅靠截图，，
，，AI很难知道自己的操作是否真的生效了。。。。
。。点了一个按钮之后，，
，，页面可能看起来没什么转变，，
，，但现实上可能已经悄悄导航到新页面、或者填写进去的内容基础没被接受。。。。
。。 OpenWebRL解决这个问题的方法，，
，，是给每一次操作都附上一条"文字反响"，，
，，相当于给AI配备了一个实时助理，，
，，在它每次操作后私语提醒："适才你点的谁人按钮乐成了，，
，，页面跳转到了xxx"，，
，，或者"你输入的文字和现实接受的内容纷歧致，，
，，注重看"。。。。
。。这条文字反响是通太过析操作前后的网页DOM树（网页结构树）转变来天生的，，
，，内容精练但信息密度高。。。。
。。 这条反响的主要性在后续实验中获得了明确验证——去掉这个文字反响，，
，，AI在多个基准测试上的乐成率会下降5到8个百分点。。。。
。。尤其是在需要多步操作的长程使命中，，
，，少了这个反响，，
，，AI就像在黑漆黑探索，，
，，很容易在一个已经失败的操作上重复纠缠，，
，，或者没意识到某个要害办法已经蜕化。。。。
。。 OpenWebRL为AI配备了一套由13个基础操作工具组成的工具箱，，
，，涵盖鼠标点击（单击、双击、右键）、键盘输入、页面转动、网址跳转、前进退却、标签页治理，，
，，以及最主要的"完成并报告"操作——这是AI告诉系统"使命做完了，，
，，我的谜底是xxx"的唯一方法。。。。
。。 更有趣的是，，
，，AI每次不需要只挪用一个工具。。。。
。。研究团队允许AI在一次"思索-行动"周期中一连挪用多个工具。。。。
。。好比，，
，，AI可以在一次输出中同时完成"点击搜索框、输入要害词、按回车"这三个一连行动，，
，，而不需要履历三次"截图→思索→操作→期待截图"的完整循环。。。。
。。这个设计大大提高了训练效率，，
，，镌汰了不须要的模子与情形之间的往返交互。。。。
。。 一个30步的网页操作使命，，
，，若是把每一步的截图都保保存AI的影象中，，
，，数据量之大足以撑爆大大都模子的上下文限制。。。。
。。研究团队的解决计划既精练又高效：只保存最近一张截图，，
，，但完整保存历史文字信息。。。。
。。 原理着实很质朴：人在做重大使命时，，
，，不需要同时盯着之前每一步的操作界面，，
，，只需要记着之前做了什么、效果怎样，，
，，以及目今屏幕上看到的内容就够了。。。。
。。AI也是云云。。。。
。。历史截图被扬弃，，
，，但每一步的操作纪录、情形反响和AI自己的"思索历程"都完整保存，，
，，作为文字形式的"事情影象"。。。。
。。 实验效果批注，，
，，只保存最近一张截图（K=1）与保存最近两张相比，，
，，效果险些没有差别，，
，，但盘算本钱却显著降低——保存两张截图会让训练时长从约240 GPU小时增添到400 GPU小时。。。。
。。这个发明告诉我们，，
，，在多模态智能体的长程使命中，，
，，语言影象的价值往往比视觉历史更为要害。。。。
。。 OpenWebRL的训练分为两个阶段，，
，，这两个阶段的设计思绪，，
，，很像人类学习新手艺的经典路径：先随着先生学基本功，，
，，再自力上场实战提升。。。。
。。 第一阶段是"监视微调"，，
，，也就是让AI先模拟能手操作。。。。
。。研究团队使用Qwen3-VL-235B（一个拥有2350亿参数的超大模子，，
，，可以明确为行业顶尖水平的"先生"）来完成一批网页使命，，
，，筛选出乐成的轨迹，，
，，然后从中全心挑选412条最具代表性的轨迹，，
，，让4B的小模子来模拟学习。。。。
。。 之以是只选412条而不是用几十万条，，
，，是有深图远虑的理由的。。。。
。。研究团队发明，，
，，若是喂太多树模数据，，
，，小模子会把先生的操作气概学得过于死板，，
，，反而在后续的实战训练中缺乏"可塑性"，，
，，难以被进一程序整优化。。。。
。。就像一个从小被逼着照本宣科的学生，，
，，反而不如谁人只学了基来源则、但保存了自主探索能力的学生前进更快。。。。
。。 实验中，，
，，研究团队比照了四种差别的初始化方法：完全不做监视训练、少量训练1轮、适量训练3轮，，
，，以及大宗数据训练3轮。。。。
。。效果发明，，
，，适量的监视预热（412条数据、3轮训练）带来的后续强化学习效果最好，，
，，而大宗数据预热反而会拖累最终体现。。。。
。。这个结论有主要的实践指导意义：初始化的目的是"让AI能最先探索"，，
，，而不是"把AI调教成一个完善的模拟者"。。。。
。。 每次训练，，
，，系统会给AI统一个使命，，
，，让它自力实验5次（一组），，
，，天生5条差别的操作轨迹。。。。
。。有些轨迹乐成完成了使命，，
，，有些失败了。。。。
。。系统随后盘算这5次实验的平均乐成率，，
，，然后告诉AI：比平均水平高的那些轨迹，，
，，应该更多去模拟；；；；比平均水平低的那些轨迹，，
，，应该阻止重蹈覆辙。。。。
。。这种"组内相对较量"的方法，，
，，让系统不需要一个外部的"完善标准谜底"，，
，，只需要自己内部的成败比照就能一连前进。。。。
。。 有一个细节很是值得关注：若是某个使命的5次实验效果完全一样（好比所有乐成或所有失败），，
，，这组数据会被直接扬弃，，
，，不加入训练更新。。。。
。。原理很简朴——所有乐成意味着这个使命太简朴，，
，，AI已经掌握了；；；；所有失败意味着这个使命目今太难，，
，，暂时无法从中学到有用信号。。。。
。。只有那些"有时乐成、有时失败"的使命，，
，，才华提供最有价值的学习素材。。。。
。。这相当于为AI自动构建了一个难度适中的动态课程。。。。
。。 训练接纳了"两阶段转动步长"的战略：先用最多15步的短程使命训练90轮，，
，，让模子在较短的使命中建设基础探索能力，，
，，再切换到最多30步的长程使命再训练50轮，，
，，让模子学会应对真正的长程妄想挑战。。。。
。。实验批注，，
，，这种由短到长的课程式训练，，
，，比一最先就直接上30步使命的效果要好得多，，
，，尤其在WebVoyager这个需要较多办法的基准上，，
，，差别高达7.4个百分点。。。。
。。 一些使命可以用规则判断，，
，，好比"找到这款手机的最低价钱"，，
，，只要核对数字就行。。。。
。。但许多使命的评判需要明确语义，，
，，好比"找到一家评分最高且离我最近的五星级牙医"，，
，，谜底可能因网页状态差别而有合理差别，，
，，不是简朴比照字符串就能判断对错的。。。。
。。 研究团队的默认计划是用GPT-4.1作为"评判官"，，
，，但这会爆发显著的用度：一次完整的训练实验需要挪用约4.32万次GPT-4.1评判API，，
，，总用度约545.5美元。。。。
。。关于许多学术研究组来说，，
，，这是不小的肩负。。。。
。。 为相识决这个问题，，
，，研究团队专门从1.25万条带有GPT-4.1评判标签的真实轨迹数据中，，
，，蒸馏训练出了一个8B规模的开源评判模子OpenWebRL-Judge-8B。。。。
。。实验证实，，
，，这个评判模子与GPT-4.1的判断吻合度高达89.8%，，
，，综合F1分数抵达92.1%，，
，，逾越了WebJudge-7B、Qwen3-VL-32B甚至GPT-4o等竞争者。。。。
。。用这个外地评判模子替换GPT-4.1之后，，
，，最终模子的性能险些没有损失，，
，，平均乐成率从68.4%仅微降到68.3%——险些可以忽略不计。。。。
。。 研究团队还比照了直接用Qwen3-VL-8B（未经专门训练的通用模子）作为评判官的效果，，
，，效果令人小心：训练奖励分数看起来越来越高，，
，，但现实测试乐成率却在一连下滑——这是典范的"奖励诱骗"征象，，
，，AI学会了怎样让评判官知足，，
，，而不是真正完成使命。。。。
。。这进一步说明，，
，，专门训练的评判模子关于整个训练系统的稳固性至关主要。。。。
。。 WebVoyager是一个笼罩15个主流网站的综合型基准，，
，，共595个使命；；；；Online-Mind2Web则包括136个网站的300个长程使命，，
，，难度更高；；；；DeepShop专注于电商购物场景，，
，，要求AI在多重约束下完成商品搜索与选择，，
，，共150个使命。。。。
。。 OpenWebRL-4B在这三个基准上划分取得了74.1%、67.0%和64.0%的乐成率，，
，，平均乐成率68.4%，，
，，成为一律规？？？茨Ｗ又械淖罡咚。。。。
。。横向比照来看，，
，，它不但大幅逾越了FARA-7B（后者在Online-Mind2Web和DeepShop上划分只有34.1%和26.2%）、MolmoWeb-8B（35.3%和42.3%），，
，，甚至逾越了拥有2350亿参数的Qwen3-VL-235B-A22B。。。。
。。更值得关注的是，，
，，OpenWebRL-4B在Online-Mind2Web和DeepShop两个基准上还压过了商业系统OpenAI CUA（58.3%和24.7%）和GPT-5的SoM版本（57.7%和49.1%）。。。。
。。 这些效果的获得，，
，，仅使用了412条初始树模轨迹和2200个强化学习训练使命，，
，，而竞争敌手如MolmoWeb则使用了凌驾27.85万条数据——相差了整整两个数目级。。。。
。。这批注，，
，，高质量的在线交互逊带来的提升，，
，，完全可以填补初始数据量上的重大差别。。。。
。。 一个有趣的发明是：随着训练的推进，，
，，AI每一步的输出确实变长了，，
，，但总体使命完成所需的办法数却在镌汰——平均步数从第0轮的14步下降到了第80轮的8.9步，，
，，整个轨迹的总长度也响应缩短。。。。
。。这说明AI并不是在无效地"啰嗦"，，
，，而是在更少的办法内做更充分的思索。。。。
。。 研究团队对AI的思索内容举行了深入剖析，，
，，界说了四种常见的"头脑模式"：历史总结（回首之前做过什么、去过哪些页面、什么要领失败了）、障碍诊断（发明验证码、页面封闭等阻挡）、重试妄想（制订新的替换战略）和条件验证（逐一核查使命要求是否知足）。。。。
。。 训练前后，，
，，这四种模式的泛起频率都有显著提升：历史总结的泛起率从14.5%提升到21.4%，，
，，障碍诊断从14.2%提升到23.7%。。。。
。。并且，，
，，泛起这些头脑模式的办法，，
，，其响应长度增添更为显著，，
，，从平均332 token增添到542 token（历史总结），，
，，从273增添到440（障碍诊断）；；；；相比之下，，
，，不包括这些模式的通俗办法，，
，，长度增添很是有限（从282增添到325）。。。。
。。 这说明AI学会了"有选择地深度思索"：在要害决议节点上投入更多认知资源，，
，，而不是匀称地在每一步上平摊思索量。。。。
。。这种行为模式与人类专家的认知方法高度吻合——遇到卡点时深度剖析，，
，，熟悉操作时快速执行。。。。
。。 说究竟，，
，，OpenWebRL证实晰一件在AI研究领域颇具争议的事：关于网页智能体这类需要在重大、动态情形中做长程决议的使命，，
，，"让AI在真实天下里边做边学"不但是可行的，，
，，并且比"堆砌大宗人类树模数据"要高效得多。。。。
。。 这对通俗用户意味着，，
，，未来我们可能会看到更多能真正明确网页、完成重大在线使命的AI助手，，
，，而这些AI不再需要依赖科技巨头掌握的海量私有数据，，
，，而是可以通过开放的框架和有限的初始训练，，
，，在果真的互联网上一连自我提升。。。。
。。 从研究自己的局限性来看，，
，，有51%的失败案例源于网页自己的会见问题——验证码封闭、网络毗连失败、反自动化机制等——这些都不是模子能力的问题，，
，，而是开放互联网上AI智能体必需面临的基础设施挑战。。。。
。。另外27%的失败来自模子在长程多约束使命中的妄想和跟踪能力缺乏，，
，，13%来自视觉定位的精度问题。。。。
。。这些偏向，，
，，也正是接下来研究起劲的重心所在。。。。
。。 研究团队已宣布将果真宣布训练数据、模子权重和完整代码，，
，，让学术界和自力研究者都能在此基础上继续探索。。。。
。。对视觉AI、智能体手艺或强化学习感兴趣的读者，，
，，可以通过arXiv编号2606.02031找到这篇完整论文，，
，，或者会见项目主页openwebrl.github.io获取更多资源。。。。
。。 A：这主要归功于在线强化学习的训练方法。。。。
。。OpenWebRL-4B不是靠死记硬背人类树模来学习，，
，，而是在真实网站上自己下手做使命，，
，，从乐成和失败的效果中总结履历。。。。
。。400条数据只是用于"打基础"的初始监视训练，，
，，真正让模子突飞猛进的是后续2200个使命的在线实战训练。。。。
。。简朴说，，
，，质量高的真实交互履历，，
，，比数目大的静态树模数据更有学习价值。。。。
。。 A：两者的评判准确率很是靠近，，
，，但本钱差别重大。。。。
。。用GPT-4.1作评判官，，
，，一次完整训练需要破费约545美元的API用度；；；；而OpenWebRL-Judge-8B是一个可以外地运行的开源模子，，
，，训练完成后不需要特殊付费。。。。
。。更主要的是，，
，，实验证实用GPT-4.1训练出来的模子和用OpenWebRL-Judge-8B训练出来的模子，，
，，最终测评效果险些完全相同，，
，，平均乐成率仅差0.1个百分点。。。。
。。 A：由于截图的信息量极大，，
，，生涯所有历史截图会凌驾模子的处置惩罚上限。。。。
。。实验发明，，
，，保存最近两张截图和只保存一张相比，，
，，效果险些没有差别，，
，，但盘算本钱从240 GPU小时增添到400 GPU小时。。。。
。。AI真正需要的"历史影象"，，
，，着实通过生涯每步的文字反响和AI自己的推理纪录就已经足够，，
，，这些文字信息比历史截图更紧凑、更高效地转达了要害信息。。。。
。。