“车位到车位”正成为端到端的试金石
“如果没有高端智能驾驶,未来汽车就没有竞争力。”近期,不少业内专家也向盖世汽车表达了类似的观点。
从自动泊车到完全自动驾驶,从简单的辅助系统到复杂的决策算法,智能驾驶已经成为衡量新车是否先进、有吸引力的重要标准之一。对于各大车企来说,加大智能驾驶领域的研发投入已成为必然趋势。
随着又一届广州车展的召开,汽车行业的最新技术和趋势再次汇聚于此。各大汽车公司竞相展示自己的创新成果。高端智能驾驶技术的竞争日趋激烈。端到端、车位到车位等关键词也站在了新一轮技术竞争的C位。 。
其中,理想汽车展示了其最新的智能驾驶技术——端到端+VLM双系统解决方案。与此同时,理想汽车正式发布车位到车位智能驾驶功能。
趁着广州车展的广泛关注,理想汽车近日举办了端到端智能驾驶体验日活动。为了更深入地了解该技术的实际应用效果,盖世汽车通过实际体验,对理想的“端到端+VLM”支撑下的车位到车位功能的真实能力进行了现场测试。真实的城市道路。
来源:理想汽车
“车位到车位”功能实测
体验过程中,我们选择的路线包含了多种路况,包括狭窄城区、拥堵路段、环岛、高速公路、园区内部道路等。实际操作方面,用户只需将目的地车位信息输入车辆系统,车辆就会自动规划路线并引导前往。到达目的地后,车辆可自动识别并停入指定停车位。
具体来说,上车并选择导航路线后,点击“一键智能驾驶”或语音激活,即可直接启动到达车位的过程。之后,车辆可以顺利驶出停车位、地下室、狭窄的社区道路。遇到闸机时,车辆会自动停车,缴费后拉杆继续行驶,不接管。
理想汽车透露,无论是露天停车场、公园,还是多层地下室、立体停车场,其车位对车位功能都可以支持。
在公共道路上行驶后,智能驾驶系统还可以处理环岛、掉头和各种施工场景。在复杂的路况和红绿灯下,交通也比较顺畅。
盖世汽车体验记录
这背后的技术支撑是基于端到端+VLM双系统的理想智能驾驶解决方案。简单来说,端到端不依赖基于规则的逻辑,具有更加拟人化的驾驶风格。 VLM有能力理解物理世界中的复杂流量。环境能力和中文语义能力赋予智能驾驶车辆更强的通行能力。
关于掉头功能,理想汽车告诉盖世汽车,基于端到端的人类驾驶员数据,可以在不同的掉头场景(有无中央隔离带、宽窄车道等)下输出合理的轨迹。 ),不再强烈依赖导航信息和前后车道的拓扑连接关系。此外,它还具有更强的端到端横向感知能力(看远+看准)。在掉头过程中,能够更准确地识别和预测迎面直行车辆的行驶轨迹并进行避让。
盖世汽车体验记录
更值得关注的是理想汽车的全国高速收费站ETC能力,旨在连接城市和高速驾驶场景。据理想汽车介绍,该功能不受范围限制,无需学习过程,全国用户均可使用。
盖世汽车体验记录
理想汽车指出:“通过端到端+VLM架构,除了让系统能够像人一样驾驶之外,还可以理解现实世界中复杂的语义信息。在实现ETC自主交通的场景中, VLM还识别收费站和ETC通道位置,引导端到端系统走向ETC通道并通过闸门。”
此外,还具有路边起步、环岛通行等功能。尽管当天天气状况较差,道路环境较为复杂,但理想汽车的智能驾驶系统在整个驾驶过程中仍然表现出了较高的稳定性和准确性。最终,顺利地将车停入预留的停车位。
盖世汽车体验记录
目前,利得基于端到端+VLM的车位到车位功能已开始向全国万人群体和门店推送试驾,并将通过OTA 6.5推送给AD Max用户11月底车机系统版本。
快慢双系统
过去的一年里,理想汽车的智能驾驶技术得到了快速发展。从全场景NOA能力的实现,到无地图NOA的推出,再到与VLM技术的端到端结合,总共完成了三代技术迭代。 。在这个过程中,理想汽车在智能驾驶领域的地位和作用发生了变化。
理想汽车取得如此成绩的关键在于其创新战略——端到端与VLM相结合的双系统架构解决方案。
据理想汽车介绍,基于丹尼尔·卡尼曼在《思考,快与慢》中提出的两种人类思维系统理论,理想汽车将端到端系统(相当于系统1)与视觉语言模型(VLM)相结合。 ,相当于系统2)在自动驾驶技术解决方案中集成应用,旨在赋予车端模型更高的性能上限和发展潜力。
其中,系统1,即端到端模型,是一种直观且快速响应的机制,可以直接将传感器输入(例如摄像头和激光雷达数据)映射到驾驶轨迹输出,无需中间过程。它是一种单一模型集成模型。
这样的设计保证了信息的高效传输、推理的高效计算以及模型的快速迭代。
System 1端到端模型的输入包括摄像头和激光雷达,通过专门针对NVIDIA Orin-X优化的卷积神经网络(CNN)主干网络提取并融合多传感器的特征,并投影到纯电动汽车空间。
为了提高模型的表示能力,Ideal专门设计了一个记忆模块,不仅在时间维度上有记忆,而且在空间维度上也有记忆。除了摄像头和激光雷达之外,Ideal 还在模型的输入中添加了车辆状态信息和导航信息。最后,经过Transformer编码后,将动态障碍物、道路结构、一般障碍物与BEV特征一起解码,规划出行驶轨迹。
系统2由22亿参数的视觉语言模型(VLM)实现,其输出交给系统1形成最终的驾驶决策。
据Ideal介绍,VLM的整体算法架构由统一的Transformel模型组成,通过Tokenizer对提示文本进行编码,再对前视120度和30度摄像头图像以及导航地图信息的视觉信息进行编码。图片和文本对齐模块执行模态对齐,并将其传递给Transformer模型进行自回归推理。
此外,理想还利用云世界模型来训练和测试系统1和系统2的能力,使这个系统能够快速迭代。
理想将视觉语言模型成功部署在车端芯片中,旨在让自动驾驶像人类一样深入理解物理世界的复杂交通环境和中文语义,并协助端到端解决安全、导航、法规和舒适度方面的自动问题。驾驶行业的困难。
端到端+VLM架构受到越来越多车企和智能驾驶供应商的青睐。但其在自动驾驶领域的应用也面临着诸多挑战,并不是每个人都能做好。
目前,端到端模型和VLM都需要大量高质量的数据进行训练。然而,获取和标记这些数据既耗时又昂贵,并且需要确保数据的多样性和代表性,以覆盖各种驾驶场景和环境条件。此外,数据处理和存储也是一个很大的挑战,需要高效的算法和硬件支持。端到端+VLM模型的复杂性不仅增加了研发成本,也对车载计算平台的计算能力提出了更高的要求。
作为参考,理想汽车累计智能驾驶里程已达26.7亿公里,训练算力目前已达6.83EFLOPS,年底将突破10EFLOPS。基于超过26亿公里智能驾驶里程的打磨和验证、不断增长的训练算力以及世界模型在云端的提前部署,理想汽车的端到端+VLM智能驾驶系统可以实现快速迭代。
一级智能驾驶大赛
端到端已经成为企业智能驾驶能力的分水岭。正在从技术路线之争转向实施经验之争。从智能驾驶领先企业的动态来看,这场实施体验之争是其核心应用之一。这是停车位到停车位。
理想汽车智能驾驶技术规划负责人温智宇在接受盖世汽车采访时表示:回顾过去两年,大家的重点都在实现各种智能驾驶使用场景的功能,比如高速NOA、城市NOA等。
“但当我们尝试将它们串联起来时,我们也发现,之前的一些想法虽然可以解决一些断点,但解决方案不够“优雅”或者是面向全国所有泛化场景,解决效率并不高。够高了。”
这也是理想及行业更加关注端到端、“车位到车位”的原因之一。
“车位到车位”功能要求自动驾驶系统自动从指定的起始停车位行驶到目标停车位,并处理过程中各种复杂的交通状况和障碍物。这一功能的实现对于现有的智能驾驶系统来说是一个巨大的挑战,因为它要求系统具有高度的环境感知、决策规划和执行控制能力。
端到端技术在停车位到停车位应用中发挥着重要作用。通过端到端技术,车辆无需预先设定路线,通过实时感知周围环境和障碍物,自主判断和规划行驶轨迹,从而实现自动停车和进出停车位。该技术使得车辆在停车场的操作更加人性化,能够更好地适应复杂的环境变化。
本届广州车展上,多家车企展示了端到端车位到车位的功能。
其中,小鹏汽车宣布成为业内首家基于小鹏图灵AI智能驾驶系统,使用一套智能驾驶软件实现“车位到车位”的公司。小鹏的解决方案通过一套软件逻辑打通地下室、大门、城市道路等场景,未来将在AI天机5.5.0上全面上线。
小米汽车还在广州车展上展示了“车位到车位”智能驾驶能力。根据小米的计划,从11月16日开始,小米车位到车位智能驾驶功能将开启定向内测邀请,从12月底开始。 ,将开启先锋版本推送。
据小米汽车介绍,稍后推出的“车位到车位”智能驾驶功能的路线创建过程是完全在后台自动创建地图和路径。例如,对于通勤路线,只要人和司机上下班经过停车场一次,就不需要额外的引导操作,后台就可以为用户构建停车场地图。
极氪还发布了D2D车位到车位试点辅助功能,预计将于2025年1月左右分批上线。
“车位到车位”功能正在成为评价端到端性能的关键指标之一。一定程度上,车位到车位已经成为车企智能驾驶能力的试金石。
近期,多家车企纷纷宣布进入智能驾驶第一梯队。现在这个队伍已经越来越拥挤,玩家也各有专长,比如小鹏云大模型、蔚来NWM世界模型、理想端到端+VLM双系统解决方案等。以端到端为核心驱动竞争,行业格局趋于稳定还有很长的路要走。
(本文来自盖世汽车网)