借蔚来GOA、4D舒适领航量产落地，帮蔚来“吹一波”[doge]，全文2500字，保干货，建议先马，在慢慢看。
蔚来Banyan2.4.0新上的几个功能，是感知+群体智能的又一次能力落地，它们分别是GOA(通用障碍物预警辅助) 、4D舒适领航(底盘)
之前大部分人理解的群体智能，只是应用在全域NOP+的无高精地图开城上，没想到其他领域也能发挥作用。这都得益于蔚来在NAD整体架构设计上的前瞻性。
先解读GOA部分：
蔚来官方和哈总@Harry_AD 的分享里，都提到了感知部分应用了BEV+Transformer 框架、并融合Lidar的占据栅格网络。
参考NIO IN时，蔚来官方的PPT — 感知规划全栈网络模型(图3)，就已经包含了静态障碍物网络+占据栅格网络。这页PPT的标题，写的也是通用泛化的基石。蔚来也正是基于这个基石，完成了GOA功能落地。
如果大家持续关注过我的微博，应该记得蔚来的占据栅格，也是经过了一年的进化，才达成如今的能力。
2022年NIODay发布会上，斌哥就展示了基于占据栅格的领航换电功能，我当时发过一个解读视频(图1)。链接：https://t.cn/A6jWL6qr
2023年4月上海车展，蔚来展台的一辆EC7投射出了车辆周边的占据栅格映射。这个Demo是蔚来AD团队用几天时间，临时调出来的，所以略显简单，但也能看到整个占据栅格的雏形。
图片中被Lidar覆盖区域的行人、在红色占据栅格外层，罩上了方线框，并标出了行人的行进方向(图2)，很显然这是融合视觉BEV后的结果。而侧后方行人，则只有方线框(纯视觉BEV输出)
展台的周边柱子、对面展台的信息，也被映射出了相应栅格，不过整个体素尺寸较大，不清楚是否因为Demo关系，还是当时算法的精度不够。
2023年9月NIO IN，少卿演示的PPT里，再次出现了占据栅格网络，(图4)中清晰还原了周围车辆的形态，并显示出环境中的旋转楼梯，精度相比4月，有了质的提高。
而这一次Banyan2.4.0全量落地的主动安全GOA功能，最小可识别刹停40x20cm物体(小于中号玩偶)。
我个人推测蔚来的占据栅格，应该也达到了10cm的体素精度，不知道融入1550nm激光雷达的ROI能力，能否再提高这个数值。
而之所以只对40x20cm物体进行识别刹停，是综合考虑了误刹、影响行车安全障碍物的下限。毕竟，对更小物体的刹车反应，可能会导致现实中的大量非必要刹车。
这是感知部分对GOA的贡献，那群体智能的意义又在哪呢？
哈总在第二篇博文中提到，无论是车企自研还是供应商模式，对于AEB功能的验证，都需要通过大量实跑里程。
哈总在原文中提到：
“由于主动安全类功能的极高产品放行要求，往往从开发到测试再到回归的整个闭环链路，是非常长周期的，甚至供应商有一条“法则”——哪怕是改一行代码，都需要路测XX万公里的严苛要求。这是在过去技术能力局限性情况下，不得不仅依赖更多的时间投入和实车测试这样的地推式来推进，也仅仅适合以标准的特定障碍物（人、两轮车、机动车）为响应目标的功能开发”
如果只针对白名单中的行人、车辆，尚可满足。但如果是非标的各种形态障碍物，用过去的方式，堪比「无法完成」的任务。
图5是NAD的整个框架，其中：
工程部分- 伴生模式、仿真平台；
架构部分- 车云一体的数字架构；
这几项改变了过去AEB的量产方式、验证逻辑。
4颗Orin X中的一颗，可以在后台运行GOA的仿真模拟，同时参考用户车队在真实场景中，相对紧急的刹车情况(人驾)，并在车端完成数据的初始自动化标注，再到云端的分类和二次标注。
其中的高价值数据会用于GOA模型的仿真训练。而不断迭代的新版本，可以再次下发到用户车队，通过伴生模式，再次模拟验证。
这样周而复始的反复过程，让整个GOA功能的成熟、落地，迭代，提供了「可生长」式的进化。是用AI方式改变AEB生态的一种教科书式样板。
当然GOA的实际效果，以及误刹率还需要现实中的二次检验，才能得出最终结论。
而群体智能的优势在于，即使切换到应用层，同样也能帮助蔚来获取误刹数据，帮助GOA快速迭代。
再聊聊4D舒适领航(底盘)
这部分同样是感知+群体智能的能力泛化。只不过，由于颠簸路面过于复杂，仅靠摄像头(11个)+激光雷达(1个)，无法达到对地面扫描的最佳效果(应该也是利用了BEV的参数)。
所以，蔚来加入了22颗底盘域传感器，会收集车辆压过每一寸路面的车身姿态，包括横竖纵(XYZ)三轴，并加入了时间维度，这也是4D名字的由来。(图6)
加入时间的意义是什么？这和群体智能又有什么关系呢？
我尝试用一个生动的比喻，来帮大家解答。
搭载12颗感知传感器、22颗底盘域传感器，带空悬和CDC悬架的蔚来NT2车型，就好似一辆「路面颠簸」收集车。
如果前方是一段烂路，车辆在通过时，就能通过车身姿态、悬架高低变化、CDC的刚度调节，收集到一组数字。感知摄像头+激光雷达，也会拿到对应的特征。
如果再加入时间维度，也就是颠簸所持续的时长。就能拿到一组非常详实的数据，可以在云端通过算法，生成一套颠簸路面图层。
这就是前面提到的，NAD架构中，「车云一体」数字架构的再次运用。
群体智能的价值在于：同一段烂路，只要有4辆不同的车辆驶过，就可以完成路面图层的验证完善，该图层就可以下发给用户使用。
当用户车辆的行进路线上，会经过这段颠簸路，云端就会下发地面情况，再借助蔚来底盘域控的算法，提前完成悬架、CDC的对应调节，从而让车辆以最佳姿态通过。
当前版本，还需要开启「导航」功能完成车辆的精准定位，才能使用4D舒适领航。
不过蔚来整车应用软件负责人@肖柏宏 也提到，后续版本会提供针对用户常开路线，不开导航也能使用。
如何实现？聪明的朋友应该想到了，对！还是群体智能。NOP+的用户单车热区，就是开启、下发数据的依据。
以上，我们可以得出一个结论：无论是全域NOP+的覆盖率提升、GOA通用障碍物预警辅助、还是4D舒适领航，如果没有NAD架构的超前部署，是很难在中间加入实现的。
而此前被广泛嘲讽的4颗Orin X，也体现了它的意义和强大。GOA、4D舒适领航的使用和训练，可以单拿出一颗Orin X提供算力。
试想一下，如果是单颗或双颗Orin X，只跑辅助驾驶的动+静态BEV网络、Occ网络、算力就已经吃紧，如果后台再“挤出”一套非全时段影子验证，哪里还有余量？
所以，蔚来的4颗Orin X，并不是拍大腿拍出来的，而是基于产品全生命周期设计，智能化体系设计而诞生的，它并不是无脑堆料。
在2025年英伟达Thor量产之前(前提是不跳票)，4颗Orin X还有很多余量，帮助蔚来跑通各种软件功能落地，验证、并完善。让用户能不断体验到智能化，所带来的车辆进化。
而竞品，大体需要等待Thor上车，才能下放需要大算力的新功能，4颗Orin X为蔚来软件团队争取到的时间，是无价的。
#新能源大牛说##蔚来#
蔚来Banyan2.4.0新上的几个功能，是感知+群体智能的又一次能力落地，它们分别是GOA(通用障碍物预警辅助) 、4D舒适领航(底盘)
之前大部分人理解的群体智能，只是应用在全域NOP+的无高精地图开城上，没想到其他领域也能发挥作用。这都得益于蔚来在NAD整体架构设计上的前瞻性。
先解读GOA部分：
蔚来官方和哈总@Harry_AD 的分享里，都提到了感知部分应用了BEV+Transformer 框架、并融合Lidar的占据栅格网络。
参考NIO IN时，蔚来官方的PPT — 感知规划全栈网络模型(图3)，就已经包含了静态障碍物网络+占据栅格网络。这页PPT的标题，写的也是通用泛化的基石。蔚来也正是基于这个基石，完成了GOA功能落地。
如果大家持续关注过我的微博，应该记得蔚来的占据栅格，也是经过了一年的进化，才达成如今的能力。
2022年NIODay发布会上，斌哥就展示了基于占据栅格的领航换电功能，我当时发过一个解读视频(图1)。链接：https://t.cn/A6jWL6qr
2023年4月上海车展，蔚来展台的一辆EC7投射出了车辆周边的占据栅格映射。这个Demo是蔚来AD团队用几天时间，临时调出来的，所以略显简单，但也能看到整个占据栅格的雏形。
图片中被Lidar覆盖区域的行人、在红色占据栅格外层，罩上了方线框，并标出了行人的行进方向(图2)，很显然这是融合视觉BEV后的结果。而侧后方行人，则只有方线框(纯视觉BEV输出)
展台的周边柱子、对面展台的信息，也被映射出了相应栅格，不过整个体素尺寸较大，不清楚是否因为Demo关系，还是当时算法的精度不够。
2023年9月NIO IN，少卿演示的PPT里，再次出现了占据栅格网络，(图4)中清晰还原了周围车辆的形态，并显示出环境中的旋转楼梯，精度相比4月，有了质的提高。
而这一次Banyan2.4.0全量落地的主动安全GOA功能，最小可识别刹停40x20cm物体(小于中号玩偶)。
我个人推测蔚来的占据栅格，应该也达到了10cm的体素精度，不知道融入1550nm激光雷达的ROI能力，能否再提高这个数值。
而之所以只对40x20cm物体进行识别刹停，是综合考虑了误刹、影响行车安全障碍物的下限。毕竟，对更小物体的刹车反应，可能会导致现实中的大量非必要刹车。
这是感知部分对GOA的贡献，那群体智能的意义又在哪呢？
哈总在第二篇博文中提到，无论是车企自研还是供应商模式，对于AEB功能的验证，都需要通过大量实跑里程。
哈总在原文中提到：
“由于主动安全类功能的极高产品放行要求，往往从开发到测试再到回归的整个闭环链路，是非常长周期的，甚至供应商有一条“法则”——哪怕是改一行代码，都需要路测XX万公里的严苛要求。这是在过去技术能力局限性情况下，不得不仅依赖更多的时间投入和实车测试这样的地推式来推进，也仅仅适合以标准的特定障碍物（人、两轮车、机动车）为响应目标的功能开发”
如果只针对白名单中的行人、车辆，尚可满足。但如果是非标的各种形态障碍物，用过去的方式，堪比「无法完成」的任务。
图5是NAD的整个框架，其中：
工程部分- 伴生模式、仿真平台；
架构部分- 车云一体的数字架构；
这几项改变了过去AEB的量产方式、验证逻辑。
4颗Orin X中的一颗，可以在后台运行GOA的仿真模拟，同时参考用户车队在真实场景中，相对紧急的刹车情况(人驾)，并在车端完成数据的初始自动化标注，再到云端的分类和二次标注。
其中的高价值数据会用于GOA模型的仿真训练。而不断迭代的新版本，可以再次下发到用户车队，通过伴生模式，再次模拟验证。
这样周而复始的反复过程，让整个GOA功能的成熟、落地，迭代，提供了「可生长」式的进化。是用AI方式改变AEB生态的一种教科书式样板。
当然GOA的实际效果，以及误刹率还需要现实中的二次检验，才能得出最终结论。
而群体智能的优势在于，即使切换到应用层，同样也能帮助蔚来获取误刹数据，帮助GOA快速迭代。
再聊聊4D舒适领航(底盘)
这部分同样是感知+群体智能的能力泛化。只不过，由于颠簸路面过于复杂，仅靠摄像头(11个)+激光雷达(1个)，无法达到对地面扫描的最佳效果(应该也是利用了BEV的参数)。
所以，蔚来加入了22颗底盘域传感器，会收集车辆压过每一寸路面的车身姿态，包括横竖纵(XYZ)三轴，并加入了时间维度，这也是4D名字的由来。(图6)
加入时间的意义是什么？这和群体智能又有什么关系呢？
我尝试用一个生动的比喻，来帮大家解答。
搭载12颗感知传感器、22颗底盘域传感器，带空悬和CDC悬架的蔚来NT2车型，就好似一辆「路面颠簸」收集车。
如果前方是一段烂路，车辆在通过时，就能通过车身姿态、悬架高低变化、CDC的刚度调节，收集到一组数字。感知摄像头+激光雷达，也会拿到对应的特征。
如果再加入时间维度，也就是颠簸所持续的时长。就能拿到一组非常详实的数据，可以在云端通过算法，生成一套颠簸路面图层。
这就是前面提到的，NAD架构中，「车云一体」数字架构的再次运用。
群体智能的价值在于：同一段烂路，只要有4辆不同的车辆驶过，就可以完成路面图层的验证完善，该图层就可以下发给用户使用。
当用户车辆的行进路线上，会经过这段颠簸路，云端就会下发地面情况，再借助蔚来底盘域控的算法，提前完成悬架、CDC的对应调节，从而让车辆以最佳姿态通过。
当前版本，还需要开启「导航」功能完成车辆的精准定位，才能使用4D舒适领航。
不过蔚来整车应用软件负责人@肖柏宏 也提到，后续版本会提供针对用户常开路线，不开导航也能使用。
如何实现？聪明的朋友应该想到了，对！还是群体智能。NOP+的用户单车热区，就是开启、下发数据的依据。
以上，我们可以得出一个结论：无论是全域NOP+的覆盖率提升、GOA通用障碍物预警辅助、还是4D舒适领航，如果没有NAD架构的超前部署，是很难在中间加入实现的。
而此前被广泛嘲讽的4颗Orin X，也体现了它的意义和强大。GOA、4D舒适领航的使用和训练，可以单拿出一颗Orin X提供算力。
试想一下，如果是单颗或双颗Orin X，只跑辅助驾驶的动+静态BEV网络、Occ网络、算力就已经吃紧，如果后台再“挤出”一套非全时段影子验证，哪里还有余量？
所以，蔚来的4颗Orin X，并不是拍大腿拍出来的，而是基于产品全生命周期设计，智能化体系设计而诞生的，它并不是无脑堆料。
在2025年英伟达Thor量产之前(前提是不跳票)，4颗Orin X还有很多余量，帮助蔚来跑通各种软件功能落地，验证、并完善。让用户能不断体验到智能化，所带来的车辆进化。
而竞品，大体需要等待Thor上车，才能下放需要大算力的新功能，4颗Orin X为蔚来软件团队争取到的时间，是无价的。
#新能源大牛说##蔚来#
【Meta Quest代码显示，#Meta头显或将支持导入苹果空间视频#】
据IT之家报道，不久之后，用 Meta Quest 头显观看苹果空间视频可能将变得更加容易，因为在 Meta Quest 应用的代码中，发现了疑似导入空间视频功能的字符串，暗示 Meta 正在为此努力。
有网友发现，Meta Quest 应用的 iOS 版本中存在与空间视频支持相关的代码片段，例如：“沉浸在您喜爱的回忆中，通过 Meta Quest 应用上传视频。”“在您的相机设置中启用空间视频。{链接}”“上传空间视频”空间视频就绪”
空间视频是苹果相对传统视频的定义，目前只有 iPhone 15 Pro (Max) 可以录制此类视频。虽然这些视频原本是为 Vision Pro 设计的，但若Meta 官方推出空间视频支持将大大降低观看这类视频的门槛，至于具体如何实现，是将视频存储在 Quest 头显本地还是云端，还有待 Meta 官方揭晓。
据IT之家报道，不久之后，用 Meta Quest 头显观看苹果空间视频可能将变得更加容易，因为在 Meta Quest 应用的代码中，发现了疑似导入空间视频功能的字符串，暗示 Meta 正在为此努力。
有网友发现，Meta Quest 应用的 iOS 版本中存在与空间视频支持相关的代码片段，例如：“沉浸在您喜爱的回忆中，通过 Meta Quest 应用上传视频。”“在您的相机设置中启用空间视频。{链接}”“上传空间视频”空间视频就绪”
空间视频是苹果相对传统视频的定义，目前只有 iPhone 15 Pro (Max) 可以录制此类视频。虽然这些视频原本是为 Vision Pro 设计的，但若Meta 官方推出空间视频支持将大大降低观看这类视频的门槛，至于具体如何实现，是将视频存储在 Quest 头显本地还是云端，还有待 Meta 官方揭晓。
【代码暗示#Meta头显或将支持导入苹果空间视频#】不久之后，用 Meta Quest 头显观看苹果空间视频可能将变得更加容易，因为在 Meta Quest 应用的代码中，发现了疑似导入空间视频功能的字符串，暗示 Meta 正在为此努力。
有网友发现，Meta Quest 应用的 iOS 版本中存在与空间视频支持相关的代码片段，例如：“沉浸在您喜爱的回忆中，通过 Meta Quest 应用上传视频。”“在您的相机设置中启用空间视频。{链接}”“上传空间视频”空间视频就绪”
空间视频是苹果相对传统视频的定义，目前只有 iPhone 15 Pro (Max) 可以录制此类视频。虽然这些视频原本是为 Vision Pro 设计的，但若Meta 官方推出空间视频支持将大大降低观看这类视频的门槛，至于具体如何实现，是将视频存储在 Quest 头显本地还是云端，还有待 Meta 官方揭晓。（IT之家）
有网友发现，Meta Quest 应用的 iOS 版本中存在与空间视频支持相关的代码片段，例如：“沉浸在您喜爱的回忆中，通过 Meta Quest 应用上传视频。”“在您的相机设置中启用空间视频。{链接}”“上传空间视频”空间视频就绪”
空间视频是苹果相对传统视频的定义，目前只有 iPhone 15 Pro (Max) 可以录制此类视频。虽然这些视频原本是为 Vision Pro 设计的，但若Meta 官方推出空间视频支持将大大降低观看这类视频的门槛，至于具体如何实现，是将视频存储在 Quest 头显本地还是云端，还有待 Meta 官方揭晓。（IT之家）
✋热门推荐