前几天给自己挖了个坑，今天填上！关于Mobileye CES 2024上的一些核心要点分享，尝试给大家聊两个问题：为啥上Lidar；为啥EyeQ芯片算力那么低？
▲1、为什么走纯视觉路线的Mobileye（以下简称ME）会上激光雷达？
大家都看到了极氪001（SuperVision平台，以下简称SV）的改款车型上了一颗Lidar，很多网友问我，这颗Lidar是否值得选？
ME的产品定义，并不是按照SAE的自动驾驶分级来设计的。他们用eyes on/off、hands on/off 来给产品分级。也就是能否脱眼、能否脱手。
SuperVision的ODD（运行设计域），是无法脱眼的，但允许脱手（你可以理解为，车辆自主完成转向等操作），但受交通法规约束，大多数时间，驾驶员还是需要把手搭在方向盘上。
当系统升级到Chauffeur平台（以下简称CH），ODD就允许脱眼、脱手，主要是指封闭高速路段，130kph下允许脱眼、脱手。需要增加一些硬件冗余，ME提到的主要是Lidar、成像雷达（4D毫米波）和芯片（EyeQ6H）。
那001上激光雷达，是要升级到Chauffeur平台？为了达到脱眼+脱手？答案肯定不是，CH平台最早落地的时间在2025年，要等EyeQ6H芯片量产。
我们知道SV平台是一个全域ODD设计，也就是除了高速，在城市也可以实现点到点的领航功能。但因为各种原因（跟TSL类似），ME在中国至今只落地了高速领航。而国内的交通情况又非常复杂，所以我个人判断，001和极星4上Lidar，应该是主机厂的要求，也就是说这两款车，后面是有计划去落城市领航功能的。而Lidar的作用，更多就是做冗余的，应该是主机厂从安全角度要求加装的。
那没有Lidar的001和极星4，还能落地城市领航吗？我判断有三点会产生影响：1、纯视觉路线落地的效果，图的进展和质量；2、用户端对纯视觉路线的接受度，极越、大疆都在基于纯视觉落地城市功能，可以看看效果。3、相关的保险出台。
▲2、为什么EyeQ系列的算力都很低？EyeQ6的算力只有34T（Int8），新发布的EyeQ7，算力也仅为67T？
先做个不那么严谨的类比，Mobileye基于NT1蔚来ES8为平台，打造的无人车（Robotaxi），用了8颗EyeQ5H，算力在200T左右。而市面上其他使用通用计算平台的无人车，算力均在1000T左右（Apollo RT6公开可查数据为1200T），我提到的这些车型，都处于商用试运行阶段，都在路上跑了。
EyeQ系列，是基于ME算法打造的专属芯片，也就是我们现在经常说的：软件定义芯片。ME一直在使用CV算法，在BEV还未盛行时，就用纯视觉做了Vidar（视觉雷达），把2D图像3D化，能对非白名单的物体进行检测。比如：突出车厢外的物体，停在路边开门的车子，这些都基于算力很低的EyeQ5就能实现。
在今年的CES上，Ammon教授突然聊起了端到端，表示ME也在做端到端。但与特斯拉的全链路端到端不同，ME的端到端在感知部分。至于没做全链路的原因，也是目前行业的共识，我直接贴出PPT（图2），就不在展开了。
ME的感知端到端也用了BEV，但跟主流方案不同的是，并没有使用行车摄像头（周视），而只是用了4颗泊车的环视摄像头，ME的BEV网络叫做Top View Net。
环视的优势是，视角大，缺点是距离短，前后向15米、左右10米。它还有一个好处是，5V5R就能实现，不需要增加更多的传感器，一些低阶方案也能实现。
但是，泊车摄像头的感知距离、精度远不及8MP的行车摄像头，那效果会好吗？
Ammon教授举了一个稀疏算法的例子。行车摄像头（8MP）的感知范围都在200米，四个方向（前后左右）就是一个400X400分辨率的BEV网格，但在自动驾驶中，10cm的分辨率才有意义，那这个网格空间就会变成4000x4000分辨率，如果采样率16bit，256个通道就需要64GB的内存容量，能够满足这个要求的硬件，你只能上英伟达的H100了。
算法工程师不是傻子，肯定不能这么干，所以才有了稀疏的注意力机制，比如：BEVFormer或者DeTR3D这些算法。拿第一种举例，BEVFormer中会提取前一个时刻（时序）的BEV特征作为采样，就不需要去采集全部的信息数据（64GB），这个特征通常也被看做是一种先验信息（时序先验），通过上一个时刻来作为预测。
ME认为，3D目标的检测重要，但也要解决车道线的问题。所以，重点来了！ ME通过REM地图来达到注意力机制同样的效果，这被称作REM-Base-Attention layer（REM地图 注意力层）。
Ammon教授举了一个常见的遮挡例子，一辆车驶入环岛后，视觉感知会被遮挡。但ME通过REM地图标记出周围物体的映射，就能准确找到这台车，并把它放在正确的车道内。注意看图5，弯曲的环岛路线，在右侧被拉直了，并且标记处遮挡车辆的相对距离，大概在37.5米。
图6是一个更严重的遮挡，红框中的车，通过右侧的图片，能显示出米数和位置关系。
所以，只用环视摄像头做BEV的问题，似乎有了答案。因为你完全可以通过REM-Base-Attention layer，来确认它车位置，甚至被遮挡的车辆，你都能做到精确定位。环视BEV只需要解决近距离的问题就好了。
ME如何做到的，Ammon教授没讲细节，但提到了要对所有摄像头信息，空间时间，逐帧，逐尺度进行处理，还要借助 REM 地图的帮助，这个系统会整合在EyeQ6H芯片中，而不是外部挂载。
最后那个问题：为什么ME的EyeQ系列芯片算力相比英伟达，会低那么多？
Ammon教授的解释是：我们的芯片是为我们开发的软件堆栈专门设计的。它不是一个单一加速器，我们有四五种类型的加速器引擎，每一种都专为不同类型的软件堆栈设计，它们整合在一起构建出了一个更高效的系统。
看过上面那些，不知道你们是否认可这个解释？评论里分享一下吧。
#新能源大牛说#
▲1、为什么走纯视觉路线的Mobileye（以下简称ME）会上激光雷达？
大家都看到了极氪001（SuperVision平台，以下简称SV）的改款车型上了一颗Lidar，很多网友问我，这颗Lidar是否值得选？
ME的产品定义，并不是按照SAE的自动驾驶分级来设计的。他们用eyes on/off、hands on/off 来给产品分级。也就是能否脱眼、能否脱手。
SuperVision的ODD（运行设计域），是无法脱眼的，但允许脱手（你可以理解为，车辆自主完成转向等操作），但受交通法规约束，大多数时间，驾驶员还是需要把手搭在方向盘上。
当系统升级到Chauffeur平台（以下简称CH），ODD就允许脱眼、脱手，主要是指封闭高速路段，130kph下允许脱眼、脱手。需要增加一些硬件冗余，ME提到的主要是Lidar、成像雷达（4D毫米波）和芯片（EyeQ6H）。
那001上激光雷达，是要升级到Chauffeur平台？为了达到脱眼+脱手？答案肯定不是，CH平台最早落地的时间在2025年，要等EyeQ6H芯片量产。
我们知道SV平台是一个全域ODD设计，也就是除了高速，在城市也可以实现点到点的领航功能。但因为各种原因（跟TSL类似），ME在中国至今只落地了高速领航。而国内的交通情况又非常复杂，所以我个人判断，001和极星4上Lidar，应该是主机厂的要求，也就是说这两款车，后面是有计划去落城市领航功能的。而Lidar的作用，更多就是做冗余的，应该是主机厂从安全角度要求加装的。
那没有Lidar的001和极星4，还能落地城市领航吗？我判断有三点会产生影响：1、纯视觉路线落地的效果，图的进展和质量；2、用户端对纯视觉路线的接受度，极越、大疆都在基于纯视觉落地城市功能，可以看看效果。3、相关的保险出台。
▲2、为什么EyeQ系列的算力都很低？EyeQ6的算力只有34T（Int8），新发布的EyeQ7，算力也仅为67T？
先做个不那么严谨的类比，Mobileye基于NT1蔚来ES8为平台，打造的无人车（Robotaxi），用了8颗EyeQ5H，算力在200T左右。而市面上其他使用通用计算平台的无人车，算力均在1000T左右（Apollo RT6公开可查数据为1200T），我提到的这些车型，都处于商用试运行阶段，都在路上跑了。
EyeQ系列，是基于ME算法打造的专属芯片，也就是我们现在经常说的：软件定义芯片。ME一直在使用CV算法，在BEV还未盛行时，就用纯视觉做了Vidar（视觉雷达），把2D图像3D化，能对非白名单的物体进行检测。比如：突出车厢外的物体，停在路边开门的车子，这些都基于算力很低的EyeQ5就能实现。
在今年的CES上，Ammon教授突然聊起了端到端，表示ME也在做端到端。但与特斯拉的全链路端到端不同，ME的端到端在感知部分。至于没做全链路的原因，也是目前行业的共识，我直接贴出PPT（图2），就不在展开了。
ME的感知端到端也用了BEV，但跟主流方案不同的是，并没有使用行车摄像头（周视），而只是用了4颗泊车的环视摄像头，ME的BEV网络叫做Top View Net。
环视的优势是，视角大，缺点是距离短，前后向15米、左右10米。它还有一个好处是，5V5R就能实现，不需要增加更多的传感器，一些低阶方案也能实现。
但是，泊车摄像头的感知距离、精度远不及8MP的行车摄像头，那效果会好吗？
Ammon教授举了一个稀疏算法的例子。行车摄像头（8MP）的感知范围都在200米，四个方向（前后左右）就是一个400X400分辨率的BEV网格，但在自动驾驶中，10cm的分辨率才有意义，那这个网格空间就会变成4000x4000分辨率，如果采样率16bit，256个通道就需要64GB的内存容量，能够满足这个要求的硬件，你只能上英伟达的H100了。
算法工程师不是傻子，肯定不能这么干，所以才有了稀疏的注意力机制，比如：BEVFormer或者DeTR3D这些算法。拿第一种举例，BEVFormer中会提取前一个时刻（时序）的BEV特征作为采样，就不需要去采集全部的信息数据（64GB），这个特征通常也被看做是一种先验信息（时序先验），通过上一个时刻来作为预测。
ME认为，3D目标的检测重要，但也要解决车道线的问题。所以，重点来了！ ME通过REM地图来达到注意力机制同样的效果，这被称作REM-Base-Attention layer（REM地图 注意力层）。
Ammon教授举了一个常见的遮挡例子，一辆车驶入环岛后，视觉感知会被遮挡。但ME通过REM地图标记出周围物体的映射，就能准确找到这台车，并把它放在正确的车道内。注意看图5，弯曲的环岛路线，在右侧被拉直了，并且标记处遮挡车辆的相对距离，大概在37.5米。
图6是一个更严重的遮挡，红框中的车，通过右侧的图片，能显示出米数和位置关系。
所以，只用环视摄像头做BEV的问题，似乎有了答案。因为你完全可以通过REM-Base-Attention layer，来确认它车位置，甚至被遮挡的车辆，你都能做到精确定位。环视BEV只需要解决近距离的问题就好了。
ME如何做到的，Ammon教授没讲细节，但提到了要对所有摄像头信息，空间时间，逐帧，逐尺度进行处理，还要借助 REM 地图的帮助，这个系统会整合在EyeQ6H芯片中，而不是外部挂载。
最后那个问题：为什么ME的EyeQ系列芯片算力相比英伟达，会低那么多？
Ammon教授的解释是：我们的芯片是为我们开发的软件堆栈专门设计的。它不是一个单一加速器，我们有四五种类型的加速器引擎，每一种都专为不同类型的软件堆栈设计，它们整合在一起构建出了一个更高效的系统。
看过上面那些，不知道你们是否认可这个解释？评论里分享一下吧。
#新能源大牛说#
联发科今日发布#天玑8300 5G生成式AI移动芯片#，引进旗舰体验，赋能高阶智能手机AI创新。采用联发科天玑8300移动芯片的智能手机预计2023年底上市。
天玑8300采用台积电第二代4nm制程，Armv9 CPU架构，八核CPU含4个Cortex-A715性能核心和4个Cortex-A510能效核心，CPU峰值性能较上一代提升20%、功耗节省30%。
此外，天玑8300搭载6核GPU Mali-G615，GPU峰值性能较上一代提升60%、功耗节省55%。天玑8300支持旗舰级内存和闪存规格，能效较前一代提升 8%，率先支持 LPDDR5T 9600Mbps 内存，支持 UFS 4.0 闪存+多循环队列技术（ Multi-Circular Queue, MCQ）。
联发科指出，天玑8300在同级别产品中率先支持生成式AI，最高支持100亿参数AI大型语言模型。该晶片整合联发科AI处理器APU 780，搭载生成式AI引擎，整数运算和浮点运算的性能是上一代的2倍，支持Transformer运算子加速和混合精度INT4量化技术，AI综合性能是上一代的3.3倍，可流畅运行终端生成式AI的创新应用。
天玑8300搭载联发科新一代「星速引擎」，通过独特的性能演算法，可根据应用程式的性能需求和装置温度资讯进行即时的资源调度，让使用者畅享高而稳定的刷新率、低功耗、长续航的游戏体验。星速引擎不仅与游戏应用程式开发者广泛合作，还将拓展更多应用类型的生态合作，升级使用者的APP使用体验。
天玑8300采用台积电第二代4nm制程，Armv9 CPU架构，八核CPU含4个Cortex-A715性能核心和4个Cortex-A510能效核心，CPU峰值性能较上一代提升20%、功耗节省30%。
此外，天玑8300搭载6核GPU Mali-G615，GPU峰值性能较上一代提升60%、功耗节省55%。天玑8300支持旗舰级内存和闪存规格，能效较前一代提升 8%，率先支持 LPDDR5T 9600Mbps 内存，支持 UFS 4.0 闪存+多循环队列技术（ Multi-Circular Queue, MCQ）。
联发科指出，天玑8300在同级别产品中率先支持生成式AI，最高支持100亿参数AI大型语言模型。该晶片整合联发科AI处理器APU 780，搭载生成式AI引擎，整数运算和浮点运算的性能是上一代的2倍，支持Transformer运算子加速和混合精度INT4量化技术，AI综合性能是上一代的3.3倍，可流畅运行终端生成式AI的创新应用。
天玑8300搭载联发科新一代「星速引擎」，通过独特的性能演算法，可根据应用程式的性能需求和装置温度资讯进行即时的资源调度，让使用者畅享高而稳定的刷新率、低功耗、长续航的游戏体验。星速引擎不仅与游戏应用程式开发者广泛合作，还将拓展更多应用类型的生态合作，升级使用者的APP使用体验。
#后摩智能发布首款存算一体智能驾驶芯片#5月10日，后摩智能正式发布首款存算一体智驾芯片——鸿途™H30，最高物理算力 256TOPS，典型功耗 35W，成为国内率先落地存算一体大算力 AI 芯片的公司。
鸿途™H30 基于 SRAM 存储介质，采用数字存算一体架构，拥有极低的访存功耗和超高的计算密度，仅用12nm工艺制程，在Int8 数据精度条件下，其AI核心IPU 能效比高达15Tops/W，是传统架构芯片的7 倍以上。鸿途™H30 已成功运行 CV 类的经典网络，以及自动驾驶领域先进的 BEV 、Pointpillar 等模型。
在人工智能技术飞速发展的今天，高效的 AI 计算能力成为智能驾驶普及应用的重要基石。后摩智能以底层技术创新为驱动力，采用存算一体架构突破芯片算力和功耗的瓶颈，实现了芯片能效比的阶跃，为快速发展的智能汽车产业带来了全新的解决方案。
鸿途™H30 基于 SRAM 存储介质，采用数字存算一体架构，拥有极低的访存功耗和超高的计算密度，仅用12nm工艺制程，在Int8 数据精度条件下，其AI核心IPU 能效比高达15Tops/W，是传统架构芯片的7 倍以上。鸿途™H30 已成功运行 CV 类的经典网络，以及自动驾驶领域先进的 BEV 、Pointpillar 等模型。
在人工智能技术飞速发展的今天，高效的 AI 计算能力成为智能驾驶普及应用的重要基石。后摩智能以底层技术创新为驱动力，采用存算一体架构突破芯片算力和功耗的瓶颈，实现了芯片能效比的阶跃，为快速发展的智能汽车产业带来了全新的解决方案。
✋热门推荐