商汤绝影发布与世界模型协同交互的端到端技术路线R-UniAD预计上海车展
以“模塑全球 无限可能”为主题的2025GDC全球开发者先锋大会于2月21日-2月23日在上海徐汇举办,旨在探索大模型产业化解决方案,推进场景落地应用,实现商业模式的正向闭环。
在2月22日的商汤大模型生产力论坛上,商汤绝影CEO,商汤科技联合创始人、首席科学家王晓刚重磅发布了行业首个「与世界模型协同交互的端到端自动驾驶路线R-UniAD」,通过构建世界模型生成在线交互的仿真环境,以此进行端到端模型的强化学习训练。这与春节开始持续受到市场关注的DeepSeek技术创新思路同归一源:从模仿学习向强化学习升级演进,从而实现端到端自动驾驶超越人类的驾驶表现。
商汤绝影CEO,商汤科技联合创始人、首席科学家王晓刚发布「与世界模型协同交互的端到端自动驾驶路线R-UniAD」
「算法、算力和数据三者共同推动着人工智能技术的螺旋式上升和进步,随着强化学习等算法引入到大模型训练的思路得到验证,新的尺度定律正在开启,数据价值被进一步深入挖掘,模型能力天花板被打开。」王晓刚表示,强化学习的技术创新也同样可以迁移到端到端自动驾驶领域。
基于UniAD端到端自动驾驶方案和「开悟」世界模型,商汤绝影R-UniAD将通过强化学习加速智驾跨越式演进。在4月即将到来的上海车展上,商汤绝影将重磅发R-UniAD端到端自动驾驶方案,并完成实车部署,持续引领端到端智驾技术的潮流。
强化学习,全新端到端自动驾驶技术路线的关键所在
2022年底,商汤绝影提出了行业首个感知决策一体化自动驾驶通用模型UniAD,并在次年荣获2023年国际计算机视觉与模式识别会议最佳论文,同年8月,特斯拉CEO马斯克直播试驾FSD V12,即端到端自动驾驶技术,越来越多的车企和科技公司开始跟进端到端的技术路线。如今,数据驱动的端到端自动驾驶解决方案已成为行业共识。
端到端的自动驾驶本质是通过海量的高质量人类驾驶数据,来实现最佳的「模仿」驾驶效果。然而,受限于高质量场景数据的稀缺性和驾驶数据质量的参差不齐,端到端智驾方案要达到人类驾驶能力的天花板并不容易,动辄千万Clips的高质量数据回流形成了规模门槛。
以模仿学习为主的端到端技术发展面临的挑战
今年春节期间,DeepSeek-R1基于纯强化学习的关键创新引发了广泛的关注。通过少量高质量数据的冷启动,模型进行多阶段的强化学习训练,有效降低大模型训练的数据规模门槛,同时也让尺度定律得以延续,为模型变得更大更强铺平了道路。更重要的是,强化学习能够让大模型自行涌现出长思维链能力,显著提升推理效果,甚至可能具备超越人类的思维能力。
王晓刚表示,基于强化学习的大模型技术路线可以迁移到端到端自动驾驶算法的训练与研发之中。
基于强化学习,商汤绝影提出「与世界模型协同交互的端到端技术路线」
从数据规模来看,多阶段强化学习的训练方法能大幅降低端到端自动驾驶数据规模门槛。R-UniAD就是通过高质量数据进行冷启动,用模仿学习的方式训练出一个端到端基础模型,再通过强化学习方法进行训练。据测算,小样本多阶段学习的技术路线能让端到端自动驾驶的数据需求降低一个数量级。
从性能上限来看,纯强化学习训练让端到端智驾模型有望通过在提升性能的同时,充分探索多元场景和驾驶风格。未来,端到端智驾体验的上限不再是「类人」,而是可以拥有超越人类的驾驶表现。
商汤绝影发布「与世界模型协同交互的端到端自动驾驶技术路线R-UniAD」
作为专注汽车行业的AI公司,商汤绝影一直在探索和落地以AI的方式解决智驾问题,也持续着引领端到端自动驾驶的创新潮流。
在UniAD荣获CVPR最佳论文之后,2024年北京车展,商汤绝影展示了UniAD的实车上路成果,量产端到端智驾方案则预计会在今年年底交付落地。2月22日,商汤绝影率先发布「与世界模型协同交互的端到端自动驾驶技术路线R-UniAD」,成为行业首个将基于世界模型的强化学习引入端到端智驾的研发与训练的AI公司。
商汤绝影的R-UniAD是「多阶段强化学习」端到端自动驾驶技术路线,具体分为三个阶段,首先是依靠冷启动数据通过模仿学习进行云端的端到端自动驾驶大模型训练;然后基于强化学习,让云端的端到端大模型与世界模型协同交互,持续提升端到端模型的性能;最后云端大模型通过高效蒸馏的方式,实现高性能端到端自动驾驶小模型的车端部署。
商汤绝影R-UniAD:「多阶段强化学习」端到端自动驾驶技术路线
因为端到端智驾模型是一个多模态具身模型,最关键的是要与依靠世界模型生成的仿真环境进行在线交互,并获得闭环奖励反馈,从而实现强化学习,使得端到端模型的训练能够充分探索各种可能性。也就是说,能够生成高保真的场景数据、保证长时推演一致性、并支持在线交互的强大世界模型是R-UniAD的核心基石。
早在2024年11月「绝影实力AI DAY」上,王晓刚就表示:「智驾高端局的竞争不止是车端模型的比拼,端到端的决战,战场在云端。」为此,商汤绝影全新升级并发布行业标杆级别的世界模型——「开悟」世界模型。世界模型最基础也是最核心的能力是生成高质量视频数据,基于「开悟」,1个GPU产生的仿真数据相当于500台量产车的数据采集效果。
以绝影量产智驾方案和「开悟」世界模型为核心,实车采集的真实数据和云端生成的仿真数据在「车云一体」的新范式下进行闭环流转,使得端到端智驾系统的训练更加全面、高效,大幅缩短了研发周期,降低了成本。
如今,「开悟」世界模型的能力进一步提升,将支持实现端到端算法与世界模型仿真环境实时交互。
在现场演示中,商汤绝影展示了「开悟」世界模型与主车闭环交互的方式。通过场景库文件导入一个BEV视角下的初始主车和他车位置,世界模型自动生成主车视角下11V的传感器仿真数据,端到端模型接收到这一数据后,生成自车下一时刻位置并进行反馈,世界模型根据刷新的主车位置和预测的他车位置渲染新的11V传感器仿真数据。
商汤绝影现场演示端到端算法与世界模型仿真环境实时交互
商汤绝影的量产端到端智驾方案预计将在年底交付,「开悟」世界模型也正式用于数据生产,已经抢占新技术路线的先机。而在4月的上海车展,商汤绝影将会展示「与世界模型协同交互的端到端自动驾驶方案」的实车部署。
依托商汤大装置算力基础设施,商汤绝影能够建立强大的云端自动驾驶大模型,蒸馏得到可以部署在更小算力芯片的端到端模型,助力车企合作伙伴加速智能汽车驶入AGI全新未来。
郑重声明:此文内容为本网站转载企业宣传资讯,目的在于传播更多信息,与本站立场无关。仅供读者参考,并请自行核实相关内容。
责任编辑:李陈默
最新阅读
-
“深交所·创享荟”打造资本市场服务国企改革新典范
9月27日,深交所举办第九期“创享荟”国企专业化整合专场活动。“创享荟”是深交所着力打造的具有深市特色的市场服务品牌,目前已围绕热点主题举办了多期专场活动,影响力和吸引力不断增强。 深交所相关负...
-
微软在GitHub上线开发工具包,助力开发者使用Rust语言编写Wind
,微软Azure首席技术官MarkRussinovich日前在X平台发文,公开微软最近宣布“扩大采用Rust语言的成果”,微软同时还在GitHub中发布了一系列开发工具包,让开发者可以使用Rust语言...
-
擦亮“金融为民”底色光大银行多维发力谱写“人民金融”新篇章
像这样面向听障人士的手语服务模式,光大银行已持续运行了四年。四年来,光大银行通过收集听障客群金融业务需求及沟通痛点,让金融服务更贴近听障人士的日常生活。而这,只是光大银行践行“金融为民”初心,努力提供...
-
云南信托联合多家金融机构进乡村开展金融知识普及教育
近日,为帮助广大农村群众进一步提升金融素养及金融风险防范意识,助力打造诚信、健康、安全、和谐的金融环境,在云南省农村信用社联合社、昆明市农村信用社联合社及昆明市西山区农村信用合作联社的共同协调组织下,...
-
“领头羊”计划走进广州番禺,超59家企业具备上市潜力
南方财经全媒体记者翁榕涛实习生曾日丽广州报道 9月26日下午,广州企业上市“领头羊”行动计划“番禺行动”启动仪式在番禺节能科技园交流中心举行。 据南方财经全媒体记者了解,今年7月以来,广州市地方金...
-
算力牛股中际旭创股价“反攻”800G能否助三季度业绩惯性增长?
21世纪经济报道记者雷晨实习生原婷婷北京报道 近期受国内外AI利好消息驱动,二级市场上,中际旭创股价重新抬头,9月26日、9月27日连续上涨。截至9月27日收盘,公司股价报收于114.07元/股,收...
-
索尼申请外置小型触摸屏专利,可“架在”PS5手柄上远程游玩游戏
,据外媒gamerant报道,索尼近日注册了一项新专利,从文件内容上来看,这项专利主要显示,外加可以使用一个“触摸屏”连接DualSense手柄,来游玩PS5游戏。 图源索尼 索尼于此前正式公布了...
-
国庆黄金周运输今日启动,长三角铁路预计发送超250万人次
国庆黄金周运输启动。 9月27日,澎湃新闻记者从中国铁路上海局集团有限公司获悉,今天是铁路国庆黄金周运输首日,长三角铁路预计发送旅客逾250万人次,较2019年同期多发送60余万人次,增幅超三成。 ...
-
阿里拟分拆菜鸟在港上市菜鸟子公司已申请上百项物流专利
9月26日,阿里巴巴港交所公告,拟通过以菜鸟股份于香港联交所主板独立上市的方式分拆菜鸟。拟议分拆完成后,阿里巴巴将继续持有菜鸟50%以上的股份,菜鸟将仍为其子公司。 天眼查App显示,菜鸟网络科技有...
-
分析机构:中国消费者平均需要119%月薪,才可购买苹果iPhone15P
,苹果公司本月发布了iPhone15系列手机,其中iPhone15ProMax国行起售价为9999元人民币,分析机构WorldofStatistics日前分享了相关统计数据,概述了全球各国家地区消费者...