⚠️出尔反尔!
1⃣️我们不相信向全球市场供应乌克兰粮食可以解决贫困和饥饿问题,但我们同意达成一项黑海粮食走廊协议,可是最后结果怎样?3170万吨农产品从乌克兰港口运出,只有9.6万吨直接发往非洲贫困国家。
2⃣️俄罗斯和乌克兰在土耳其举行了一系列会谈,以制定建立信任措施并准备条约本身的文本。该条约草案由来自基辅的谈判小组负责人草签。它被称为《乌克兰的永久中立和安全保障条约》十八条。此外,它还有一个附件。它涉及到武装力量和其他事项。所有的东西都详细说明了,包括军事装备的单位和武装部队的人员。基辅代表团已经在文件上签了字,但在俄罗斯如约从基辅撤军后,基辅撕毁了该条约!
1⃣️我们不相信向全球市场供应乌克兰粮食可以解决贫困和饥饿问题,但我们同意达成一项黑海粮食走廊协议,可是最后结果怎样?3170万吨农产品从乌克兰港口运出,只有9.6万吨直接发往非洲贫困国家。
2⃣️俄罗斯和乌克兰在土耳其举行了一系列会谈,以制定建立信任措施并准备条约本身的文本。该条约草案由来自基辅的谈判小组负责人草签。它被称为《乌克兰的永久中立和安全保障条约》十八条。此外,它还有一个附件。它涉及到武装力量和其他事项。所有的东西都详细说明了,包括军事装备的单位和武装部队的人员。基辅代表团已经在文件上签了字,但在俄罗斯如约从基辅撤军后,基辅撕毁了该条约!
熬夜读了清华 MarsLab 实验室的论文,尝试解读下理想 NPN (神经先验网络)的原理,它也是读懂理想「无图」方案的钥匙。
我先讲下「高精地图」、「无图」、「NPN」之间的区别和关系。
自动驾驶/辅助驾驶,为什么需要高精地图?
因为只有车辆知道「道路边界」「连接点」「道路拓扑结构」才能做运动轨迹的规划。
高精地图,能够提供最好的信息要素,所以才会被行业使用。
高精地图通过高精度传感器进行「采集」。它的生成关系是:
(Lidar、IMU、GPS、轮速计) → 稠密点云 → 人工标注 = 高精地图
这也意味着,高精地图成本高,鲜度差。使用时,从「云端」单一路径给到「车端」,是 Offline (离线地图)方式。 附图一 上
那有没有代替高精地图的方案呢?
有!这就是「矢量地图」或者叫语义地图。
所谓的「无图」,其实就是使用「矢量地图」
矢量地图用摄像头采集图像,再用神经网络,Transformer方式,预测出道路轨迹、拓扑关系,把它放到 BEV 空间里,车辆就能直接使用。由于它是实时检测,也被看做 Online 的方式。
它的生成关系:
摄像头 → Encoder → BEV Feature → 在线矢量地图。 附图一 中
为什么它不需要审核?
因为不是真实采集来的,是神经网络预测出来的。且只会预测车子周边一定范围的地图信息。
那预测的地图,能保证准确吗?
可以!通过对神经网络的大量训练,与地面真值(ground truth)进行对比,就能让输出的结果,无限接近于真实世界。
车辆行驶时,会遇到遮挡的问题,遮挡物可能是其他车辆、也可能是环境要素,比如雨水(积水)、强光反射等等。
如果车辆位于道路中间,可以通过历史关系、时序等信息,猜出(脑补)被遮挡的标线,对规控影响很小。
但如果在路口这种复杂环境下,会出现大量遮挡,靠脑补无法稳定输出地图信息的情况,会出现大量的跳变。
为了降低安全风险,车子的规控会趋于保守,表现出“走走停停”的问题,影响通行效率。
理想的 NPN,就是为了解决这种情况。
NPN 通过车队提前采集路口的语义特征,以拼图(贴图)的方式,把数据存储到云端。
当车辆行驶到路口,遇到遮挡、数据缺失的问题,就会下载相对应(缺失部分)的拼图,来保证高质量、稳定的地图输出。附图二
由于数据是稀疏的映射块,使用时也是按需提取部分贴图,随机性很大,因此信息数据是脱敏的,能满足合规要求(个人猜测)。
非路口时,用「在线矢量地图」,路口用 NPN。这就是理想的「无图」方案运作原理。
附图三,是一个效果实例。
雨天遇到积水时,通过 NPN 晴天的贴图数据,也能稳定输出高质量地图信息。
----分割线----
对这个感兴趣的同学,可以了解下特斯拉的2022 年 AI Day 上提到的 Lanes Network,也是一种基于神经网络的地图生成方式。
不同点是:特斯拉使用了「语言模型」自回归的方式。
MarsLab 和理想用的是「物体检测模型」,通过 Polyline 的方式。
理想发布会上,提到的红绿灯预测,也是基于物体检测模型,今天不展开了,回头有机会再写。
写完这段,已经是凌晨 4 点(定时 8 点发),脑子已木、难免出现错误,欢迎指正补充。
#理想家庭科技日##新能源大牛说#
我先讲下「高精地图」、「无图」、「NPN」之间的区别和关系。
自动驾驶/辅助驾驶,为什么需要高精地图?
因为只有车辆知道「道路边界」「连接点」「道路拓扑结构」才能做运动轨迹的规划。
高精地图,能够提供最好的信息要素,所以才会被行业使用。
高精地图通过高精度传感器进行「采集」。它的生成关系是:
(Lidar、IMU、GPS、轮速计) → 稠密点云 → 人工标注 = 高精地图
这也意味着,高精地图成本高,鲜度差。使用时,从「云端」单一路径给到「车端」,是 Offline (离线地图)方式。 附图一 上
那有没有代替高精地图的方案呢?
有!这就是「矢量地图」或者叫语义地图。
所谓的「无图」,其实就是使用「矢量地图」
矢量地图用摄像头采集图像,再用神经网络,Transformer方式,预测出道路轨迹、拓扑关系,把它放到 BEV 空间里,车辆就能直接使用。由于它是实时检测,也被看做 Online 的方式。
它的生成关系:
摄像头 → Encoder → BEV Feature → 在线矢量地图。 附图一 中
为什么它不需要审核?
因为不是真实采集来的,是神经网络预测出来的。且只会预测车子周边一定范围的地图信息。
那预测的地图,能保证准确吗?
可以!通过对神经网络的大量训练,与地面真值(ground truth)进行对比,就能让输出的结果,无限接近于真实世界。
车辆行驶时,会遇到遮挡的问题,遮挡物可能是其他车辆、也可能是环境要素,比如雨水(积水)、强光反射等等。
如果车辆位于道路中间,可以通过历史关系、时序等信息,猜出(脑补)被遮挡的标线,对规控影响很小。
但如果在路口这种复杂环境下,会出现大量遮挡,靠脑补无法稳定输出地图信息的情况,会出现大量的跳变。
为了降低安全风险,车子的规控会趋于保守,表现出“走走停停”的问题,影响通行效率。
理想的 NPN,就是为了解决这种情况。
NPN 通过车队提前采集路口的语义特征,以拼图(贴图)的方式,把数据存储到云端。
当车辆行驶到路口,遇到遮挡、数据缺失的问题,就会下载相对应(缺失部分)的拼图,来保证高质量、稳定的地图输出。附图二
由于数据是稀疏的映射块,使用时也是按需提取部分贴图,随机性很大,因此信息数据是脱敏的,能满足合规要求(个人猜测)。
非路口时,用「在线矢量地图」,路口用 NPN。这就是理想的「无图」方案运作原理。
附图三,是一个效果实例。
雨天遇到积水时,通过 NPN 晴天的贴图数据,也能稳定输出高质量地图信息。
----分割线----
对这个感兴趣的同学,可以了解下特斯拉的2022 年 AI Day 上提到的 Lanes Network,也是一种基于神经网络的地图生成方式。
不同点是:特斯拉使用了「语言模型」自回归的方式。
MarsLab 和理想用的是「物体检测模型」,通过 Polyline 的方式。
理想发布会上,提到的红绿灯预测,也是基于物体检测模型,今天不展开了,回头有机会再写。
写完这段,已经是凌晨 4 点(定时 8 点发),脑子已木、难免出现错误,欢迎指正补充。
#理想家庭科技日##新能源大牛说#
昨天突然发高烧突然变成小人 当还是和朋友们一起去玩了剧本杀因为已经提前约好啦 放心有一直好好戴口罩!!哇玩的是情感本告别诗 本来以为不爱看小说的自己会投入不进去然后巨尴尬 没想到!结果6个人我哭哭的最惨 直接一整包纸都给我哭完了哈哈哈哈哈 好玩死了!又开心又好玩!六个人的角色也分配的恰到好处!晚上回去后就乖乖收拾来青海楼啦 很大但很空 很自由但是我一定会觉得寂寞的吧马上 这个床好硬邦邦 窗帘也不遮光 五点多也不知道是被亮醒还是难受醒 感觉浑身疼 身体被四分五裂成三瓣了要 想快快好起来见到想见到的人!!
✋热门推荐