CVPR的自动驾驶分论坛（Workshop on Autonomous Driving），，，，，历年都是业内极具影响力的手艺风向标和盛会。。。。。。。好比2022年的WAD，，，，，Wayve首次披露了自己低传感器端到端蹊径计划，，，，，马上成为自动驾驶赛道炙手可热的明星公司；；；；
；再好比，，，，，特斯拉最早在CVPR WAD上详细分享了占用网络手艺，，，，，随后成为业内悉数跟进的量产计划…… 小鹏在演讲前一天，，，，，刚刚开启了最新SUVG7的预售，，，，，创立了量产L3级AI算力第一车的纪录，，，，，单车算力凌驾2200TOPS，，，，，何小鹏将G7界说为“真正的AI汽车”。。。。。。。 先看实验效果。。。。。。。几个月前，，，，，小鹏汽车在后装算力的车端安排了新一代自动驾驶基座模子，，，，，实现了无任何规则代码托底情形下，，，，，基座模子直接控车并清静完成一系列驾驶使命。。。。。。。 整个自动驾驶系统全流程模子化，，，，，着实就是马斯克宣讲多年的AI司机，，，，，其最主要的特征是展现出对情形、路况的全局明确和思索。。。。。。。 好比这个场景下，，，，，直行道上，，，，，先是前方大车切出后，，，，，然后又看到了里边临停车，，，，，但系统全程没有任何“紧迫避险”的行动，，，，，而是从容有序的减速绕行，，，，，丝滑通过场景： 再好比雨天的窄路弯道，，，，，蹊径一侧已经被种种违停车占满，，，，，行进途中又突遇暂时上下客的网约车，，，，，系统没有丝毫犹豫，，，，，直接提倡绕行： 现在市面上险些所有量产智能辅助驾驶，，，，，一旦周围目的的距离、速率相对本车抵达一定区间（好比突然汇入的大车、迎面而来的电驴，，，，，极端狭窄的蹊径空间等），，，，，必定首先触发紧迫刹车，，，，，车内乘员一顿前俯后仰之后，，，，，可能仍然需要接受…… 至于一些极端场景，，，，，是这些古板计划很容易“宕机摆烂”的。。。。。。。好比这个位于福州的路口，，，，，马路扑面的主干道上有两棵大树伫立，，，，，车道竟然就在这两棵大树之间……不是外地司机，，，，，可能基础搞不明确该怎么走。。。。。。。 但小鹏的系统竟能准确辨识出车道，，，，，顺遂通过。。。。。。。这对现在的量产系统来说属于“惊喜”，，，，，关于以后要上车的下一代模子来说就是“基操”。。。。。。。 现阶段主流的“车端模子”，，，，，着实主体就是端到端算法，，，，，从传感器取数据，，，，，然后输出蹊径妄想，，，，，一样平常还会有一些强制规则清静兜底。。。。。。。 但小鹏以为，，，，，这种古板模式只管一定水平上AI化了，，，，，但端到端实质仍然是“小脑”，，，，，对输入的蹊径信息做出的反应是被动式、条件反射式的要害这种“条件反射”照旧黑盒，，，，，历程难以掌握 着实也是L4玩家质疑L2蹊径的焦点依据：不会思索的模子，，，，，数据量再大也只能模拟人类行为，，，，，无法真正逾越人类抵达“自动驾驶”的层级。。。。。。。 小鹏以为问题出在了现行的手艺计划上：只局限在车端算力的一亩三分地，，，，，模子巨细是受限的，，，，，能真正消化的数据也是受限的。。。。。。。 VLA，，，，，全称Vision-Language-Action，，，，，一样平常同时包括视觉编码器、语言编码器、跨模态融合模浚浚
？？？椤⑿卸焐？？？
？？？椋，，，，能同时明确视觉图像、自然语言，，，，，并天生行动控制指令的AI模子架构。。。。。。。 2023年谷歌Robotics团队的RT-1打响VLA第一枪，，，，，用人类操作树模构建多模态训练集，，，，，以图像、语言指令和一连控制信号作为输入，，，，，训练机械人明确语言并直接输出行动。。。。。。。后续RT-2又把CLIP等视觉语言基础模子引入控制流程中，，，，，基本涤讪了“图像+语言+行动”统一建模的VLA基线，，，，，成为具身智能和自动驾驶的新希望。。。。。。。 VLA特殊之处在于，，，，，不再是分模浚浚
？？？椤案髯晕”，，，，，而是通过建设视觉信号、语言指令与物理行动之间的关联映射，，，，，实现情形明确到行为输出的闭环决议。。。。。。。 简朴说，，，，，已往一个使命需要划分训练图像识别模子、语义明确模子、控制战略模子；；；；
；而现在，，，，，VLA一个模子就能从图片和语言中“看懂使命”，，，，，并“下手完成”。。。。。。。 基座模子完成预训练、监视精调（SFT）之后，，，，，就进入强化训练阶段。。。。。。。强化学习是小鹏基模训练最大的特点，，，，，也是模子能力的隐形护城河。。。。。。。 小鹏自研开发的强化学习奖励模子主要从三个偏向上去引发基模潜能：清静、效率、合规。。。。。。。现实上也是人类驾驶行为中的几个焦点原则。。。。。。。 好比遇到不熟悉的障碍物要绕行是为了清静、路上遇到特殊慢的车适时变道超车是为了通行效率、凭证红绿灯车道线蹊径标牌的指示开车是为了合规……. 但刘先明以为自动驾驶的天下模子远远不是今天的“仿真建模”，，，，，它应该是一种实时建模和反响系统，，，，，能够基于行动信号模拟真真相形状态，，，，，渲染场景，，，，，更主要的是，，，，，能天生场景内其他智能体（也即交通加入者）的响应，，，，，也就是说，，，，，所有智能体都不是NPC，，，，，都需要通过跟其他智能体的交互爆发博弈行为。。。。。。。这样的天下模子，，，，，才算得上一个闭环的反响网络。。。。。。。 最后，，，，，云端模子将通过知识蒸馏方法生产小尺寸模子，，，，，安排到车端，，，，，成为“AI汽车”全新的大脑。。。。。。。模子在车端安排之后，，，，，一连获取新的驾驶数据和用户反。。。。。。。，，，，又能继续用于云端基模的训练，，，，，让基模一直迭代。。。。。。。这个历程被小鹏汽车称为一连在线学习（Online Learning），，，，，由VLA和OL组成的这套手艺架构，，，，，将让基模常训常新。。。。。。。 现在基座模子累计吃下了2000多万条视频片断（每条时长30秒）。。。。。。。在一直扩大训练数据量的历程中，，，，，研发团队同样清晰地看到了规模规则（Scaling Law）的展现： 而要想把大模子的能力尽可能延续到车端相对较小的模子上，，，，，知识蒸馏是现在最好的要领。。。。。。。这比直接训练一个车端小模子更难，，，，，但上限也更高 由于模子参数的使用率是有限的，，，，，云端有更多的数据，，，，，能学到更多的工具，，，，，智能涌现效应更强。。。。。。。再蒸馏到车端的小模子上，，，，，可以让小模子有更强的体现。。。。。。。 另外，，，，，自动驾驶自己具有“多模态”或者说“多解输出”的特点，，，，，容易遇到“模态不统一”的逆境。。。。。。。意思是统一个驾驶场景可能会有多种路径选择，，，，，并且它们都是对的。。。。。。。当模子使用的数据量增大，，，，，就会泛起越来越多的“相似场景，，，，，多种解法”的训练数据，，，，，关于参数目缺乏（智商缺乏）的小模子来说，，，，，可行解法越来越多，，，，，可能造成模子的confusion，，，，，导致模态坍塌。。。。。。。因此，，，，，直接训练车端小模子，，，，，现实上并不可通过数据的增添实现scaling law。。。。。。。 另外刚刚提到的强化学习要领，，，，，同样也是模子越大效果越好。。。。。。。更大的云端模子后训练，，，，，再向车端小模子去蒸馏，，，，，获得的效果，，，，，比直接车端的小模子做强化训练要好得多。。。。。。。 首先是云端，，，，，开发具有普遍认知能力的超大规模多模态模子作为基座模子。。。。。。。并且为此最先储备超等盘算集群，，，，，现在已达10 EFLOPS，，，，，集群运行效率终年坚持在90%以上，，，，，全链路迭代周期可达平均5天一次。。。。。。。 因此，，，，，超大算力、大模子针对性优化的盘算芯片就成了必需——小鹏历时5年自研的图灵AI芯片的，，，，，“1颗顶3颗”，，，，，单颗有用算力相当于3颗主流芯片。。。。。。。 小鹏汽车CEO何小鹏称：VLM是车辆明确天下的大脑，，，，，已往我们使用语音、触屏、按键来操控汽车。。。。。。。而不久之后，，，，，VLM将替换彻底取代这些操控手段，，，，，成为人和汽车对话操控的新一代入口。。。。。。。 车端的VLA-OL模子，，，，，则给智能辅助驾驶增添「运动型大脑」，，，，，还进一步增强了「小脑能力」同时具备一连强化学习能力，，，，，未来进化到自主强化学习，，，，，让大模子一连进化。。。。。。。 何小鹏坚信，，，，，这条蹊径不但是小鹏下一阶段增添引擎，，，，，更是对现行所有量产L2蹊径的突破，，，，，也是自动驾驶和具身智能大一统的起源。。。。。。。 L4和L2都在堆算力。。。。。。。好比小马智行、百度Apollo、文远知行等头部Robotaxi玩家，，，，，单车算力也都凌驾了1000TOPS；；；；
；包括小鹏在内，，，，，蔚来、理想、极氪等等新车，，，，，也都把算力数值堆到了“千TOPS”这个级别。。。。。。。 L4阵营的大佬，，，，，已往常讥笑质疑智能辅助驾驶，，，，，以为两个手艺系统有不可跨越的鸿沟，，，，，依据就是L2太依赖端到端，，，，，而端到端的实质是模拟，，，，，但数据泉源（即人类司机）的上限永远不可突破，，，，，下限永远不可展望。。。。。。。 而小鹏的新手艺蹊径，，，，，第一次从手艺层面回应了“端到端只能模拟不可逾越”的问题：跳出数据局限性的叙事，，，，，从AI实质出发，，，，，打造一个有完整认知能力和运动妄想协调能力的“大脑”。。。。。。。 这套计划中，，，，，关于“上限”问题的回覆是模子自己的超大参数规模带来的能力跃升，，，，，关于“下限”问题的谜底，，，，，同样是超大规模模子对强化学习的精彩反响。。。。。。。 何小鹏自述在自动驾驶和机械人研发历程中自然而然积累的这样的认知，，，，，于是最先自动结构有完整认知能力的天下模子；；；；
；以及从5年前就最先开发储备云端算力储备，，，，，图灵AI芯片、自动驾驶基座模子等等。。。。。。。