理想汽车发布MindVLA,重塑自动驾驶新格局
理想汽车发布MindVLA,奋力开启重塑自动驾驶新格局的征程

2025 年 3 月 18 日,理想汽车自动驾驶技术研发负责人贾鹏在 NVIDIA GTC 2025 上,分享了理想汽车下一代自动驾驶技术 MindVLA 的最新进展。贾鹏称,MindVLA 作为机器人大模型,成功融合空间智能、语言智能和行为智能,一旦打通物理与数字世界结合的范式,将有望为众多行业赋能。它将把汽车从单纯的运输工具,转变为贴心且智能的专职司机,使其能听得懂指令、看得见环境、找得到目的地,赋予汽车类似人类的认知与适应能力。
理想全栈自研的 MindVLA,基于端到端 + VLM 双系统架构的实践及对前沿技术的洞察而诞生。VLA 作为机器人大模型的新范式,赋予自动驾驶强大的 3D 空间理解、逻辑推理及行为生成能力,让自动驾驶可感知、思考并适应环境。MindVLA 并非简单组合端到端模型和 VLM 模型,而是全新设计所有模块。3D 空间编码器借助语言模型与逻辑推理结合,输出合理驾驶决策及 Action Token,再通过 Diffusion 优化出最佳驾驶轨迹,且整个推理过程在车端实时运行。
MindVLA 具备六大关键技术,打破传统自动驾驶技术框架。它采用能承载丰富语义、具有优良 3D 几何表达能力的 3D 高斯作为中间表征,通过海量数据自监督训练提升下游任务性能。理想从零设计并训练适合 MindVLA 的 LLM 基座模型,采用 MoE 混合专家架构和 Sparse Attention 实现模型稀疏化,在保证模型规模增长的同时,不降低端侧推理效率,训练中加入大量 3D 数据以赋予模型 3D 空间理解与推理能力,并通过加入未来帧预测生成和稠密深度预测等任务,激发模型空间智能。为提升逻辑推理能力,训练 LLM 基座模型学习人类思考过程,实现快慢思考自主切换,通过小词表结合投机推理及并行解码技术,提升实时推理速度,平衡模型参数规模与推理性能。MindVLA 利用 Diffusion 解码 Action Token 为优化轨迹,通过自车行为生成和他车轨迹预测联合建模提升复杂交通环境博弈能力,采用 Ordinary Differential Equation 采样器解决 Diffusion 效率低问题,还通过建立人类偏好数据集及应用 RLHF 微调模型采样过程,提升安全下限。基于自研重建 + 生成云端统一世界模型,MindVLA 融合重建与生成模型能力构建仿真环境,实现基于仿真的大规模闭环强化学习,通过工程优化显著提升场景重建与生成的质量和效率。此外,通过创新预训练和后训练方法,MindVLA 具备卓越泛化能力和涌现特性,在室内环境也展现出适应性。
MindVLA 将为用户带来全新体验。“听得懂” 体现在用户能通过语音指令改变车辆路线和行为,如在陌生园区找超市,对理想同学说指令,车辆就能自主找到目的地;“看得见” 指其具备强大通识能力,可识别商店招牌,还能依据用户发送的照片找到用户;“找得到” 意味着车辆能在地库、园区和公共道路自主漫游找车位,不依赖地图或导航。总之,MindVLA 赋能的汽车不再只是驾驶工具,而是能与用户沟通、理解用户意图的智能体,它将重新定义自动驾驶,为汽车行业及人工智能领域开拓新方向,有望推动多行业协同发展。
郑重声明:此文内容为本网站转载企业宣传资讯,目的在于传播更多信息,与本站立场无关。仅供读者参考,并请自行核实相关内容。
责任编辑:田单
最新阅读
-
“深交所·创享荟”打造资本市场服务国企改革新典范
9月27日,深交所举办第九期“创享荟”国企专业化整合专场活动。“创享荟”是深交所着力打造的具有深市特色的市场服务品牌,目前已围绕热点主题举办了多期专场活动,影响力和吸引力不断增强。 深交所相关负...
-
微软在GitHub上线开发工具包,助力开发者使用Rust语言编写Wind
,微软Azure首席技术官MarkRussinovich日前在X平台发文,公开微软最近宣布“扩大采用Rust语言的成果”,微软同时还在GitHub中发布了一系列开发工具包,让开发者可以使用Rust语言...
-
擦亮“金融为民”底色光大银行多维发力谱写“人民金融”新篇章
像这样面向听障人士的手语服务模式,光大银行已持续运行了四年。四年来,光大银行通过收集听障客群金融业务需求及沟通痛点,让金融服务更贴近听障人士的日常生活。而这,只是光大银行践行“金融为民”初心,努力提供...
-
云南信托联合多家金融机构进乡村开展金融知识普及教育
近日,为帮助广大农村群众进一步提升金融素养及金融风险防范意识,助力打造诚信、健康、安全、和谐的金融环境,在云南省农村信用社联合社、昆明市农村信用社联合社及昆明市西山区农村信用合作联社的共同协调组织下,...
-
“领头羊”计划走进广州番禺,超59家企业具备上市潜力
南方财经全媒体记者翁榕涛实习生曾日丽广州报道 9月26日下午,广州企业上市“领头羊”行动计划“番禺行动”启动仪式在番禺节能科技园交流中心举行。 据南方财经全媒体记者了解,今年7月以来,广州市地方金...
-
算力牛股中际旭创股价“反攻”800G能否助三季度业绩惯性增长?
21世纪经济报道记者雷晨实习生原婷婷北京报道 近期受国内外AI利好消息驱动,二级市场上,中际旭创股价重新抬头,9月26日、9月27日连续上涨。截至9月27日收盘,公司股价报收于114.07元/股,收...
-
索尼申请外置小型触摸屏专利,可“架在”PS5手柄上远程游玩游戏
,据外媒gamerant报道,索尼近日注册了一项新专利,从文件内容上来看,这项专利主要显示,外加可以使用一个“触摸屏”连接DualSense手柄,来游玩PS5游戏。 图源索尼 索尼于此前正式公布了...
-
国庆黄金周运输今日启动,长三角铁路预计发送超250万人次
国庆黄金周运输启动。 9月27日,澎湃新闻记者从中国铁路上海局集团有限公司获悉,今天是铁路国庆黄金周运输首日,长三角铁路预计发送旅客逾250万人次,较2019年同期多发送60余万人次,增幅超三成。 ...
-
阿里拟分拆菜鸟在港上市菜鸟子公司已申请上百项物流专利
9月26日,阿里巴巴港交所公告,拟通过以菜鸟股份于香港联交所主板独立上市的方式分拆菜鸟。拟议分拆完成后,阿里巴巴将继续持有菜鸟50%以上的股份,菜鸟将仍为其子公司。 天眼查App显示,菜鸟网络科技有...
-
分析机构:中国消费者平均需要119%月薪,才可购买苹果iPhone15P
,苹果公司本月发布了iPhone15系列手机,其中iPhone15ProMax国行起售价为9999元人民币,分析机构WorldofStatistics日前分享了相关统计数据,概述了全球各国家地区消费者...