特斯拉autopilot研发总监Ashok在CVPR2022上的演讲:如何检测障碍物并自动避让(中)

原创 瓦砾村钱罐 瓦砾村夫

今天,我想谈一谈在视频中没有展示的某个技术,那就是,我们如何处理一般障碍物。

当开始搭建我们更高级的技术栈时,我们想用某种方法来表示一般障碍物。我们一开始使用的是图像空间的分割方法,这几乎是个标准方法。这里,图像空间的每个像素,都被标记为可驾驶或不可驾驶。然后,我们希望规划技术栈可以使用这个信息来导航场景。

但这种方法有几个问题。首先,这些关于某个像素是否可驾驶的预测是在图像空间中完成的,基于图像的uv值,或者说,某个像素是可驾驶的像素,还是不可驾驶。但为了让汽车能够在三维世界中导航,它需要在三维空间中进行预测,这样才能建立互动的物理模型,并处理驾驶任务。

但在从图像空间转变到三维空间的过程中,如果采用这样的方式,像素分割会在系统中产生不必要的瑕疵或不必要的噪声。例如,取决于我们如何将这个图像空间转换到三维空间,图像中地平线上的像素可能会产生巨大的影响。而我们不希望规划技术栈处理带有如此多噪声的可驾驶空间。而这其实并不是一个根本性的局限,只是这种表示方式的局限。

另外,这种表示方式也不能提供场景完整的三维结构,因此很难推理出所有悬空的障碍物,或者墙壁,或者其他可以遮挡场景的物体。

对一般障碍物进行建模的另一个方法,是使用密集的深度信息。在这个任务中,你可以以像素为基础,让网络预测深度,这样每个像素都会产生某个深度值。

但是,尽管这些深度图在颜色空间中进行可视化时,看起来非常漂亮,但当你使用深度值,把射线反向投影计算得到三维点,并可视化这些三维点云时,虽然它们在近处看起来很不错,但随着距离的增加,它们就变得不一致,而且数据很难被后续流程所使用。例如,局部的深度变得不一致,因此,墙就不直了,可能是弯弯扭扭的。

这个方式也有同样的问题,即靠近地平线的物体只由很少的点来表示,这使得规划技术栈很难针对障碍避让编写合理的逻辑。

这些深度图是基于每个摄像机的图像平面生成的,这也使得这个方法很难生成一个汽车周围统一的三维空间。

由于深度图通常被建模为回归目标,很难通过遮挡来进行预测,而且由于网络的特性,边界上也很难进行预测,例如,它们可能会平滑的从车辆变为背景,而这会在三维空间中产生不必要的瑕疵。

对于这个问题,我们的解决方案就是我们内部所称的占用网络(occupancy network)。下面是一个使用我们的占用网络进行预测的例子,我在这里停一下,让你们看看预测结果。

这些占用网络接收所有八个摄像机流作为输入,并生成一个汽车周围空间的体积化的占用值。每一个体素(或汽车周围的每一个位置),网络都会生成该体素是否被占用的结果。事实上,它生成了一个该体素(或三维位置)被占用或不被占用的概率值。

如我所说,它接受所有8个摄像头作为输入,并生成了一个单一的体积化的输出。这个输出的产生,并不是通过拼接各个独立的预测结果完成的,而是网络完成所有的内部传感器融合,并产生一个单一的一致的输出空间。

这些网络能生成静态物体的占用值,比如墙壁和树木之类的东西,也能生成移动物体的动态占用值,比如车辆(大多数情况下),但有时,也包括其他移动的障碍物,如道路上的碎片。

由于输出空间直接是在三维空间中,我们可以通过遮挡来进行预测。你可以预测一条曲线的存在,尽管它可能暂时被汽车遮挡。

最后,这个方法在内存和计算方面都非常高效,尽管表面上看可能并非如此,因为它生成了密集的三维的占用值,看起来可能体积过于庞大。但最终,在内存和计算效率上,这是一种更优的方法,因为它把分辨率分配在那些关键的地方。

如我所说,密集的深度图,或图像中的可驾驶空间,远处的分辨率非常低,而近处的分辨率非常非常高。但在占用网络中,在与驾驶有关的所有体积中,分辨率几乎都一致,这让它变得极其高效。

例如,我向各位展示的网络,在我们的计算平台上运行的时间小于10毫秒,这使得网络可以以100赫兹的速度运行,比摄像机产生图像的速度快得多。

这是如何做到的?让我们简单了解一下架构。

这里我展示了几个摄像流:鱼眼摄像头,这是一个朝向正面的广角摄像头;左立柱摄像头,这是一个面向左边的摄像头。而网络的确获取所有的摄像机作为输入。

我们首先进行归一化处理,以移除所有跟特定车辆相关的配置,比如内部校准,或图像畸变,或类似的因素。

一旦进行了归一化处理,这些图像就会被输入到目前最先进的图像主干架构中。例如,这里我们采用regnets和BiFBNs来提取图像特征,但这可以换成最先进的架构,甚至是来自于CVPR2022的。

这些主干在图像空间中生成了高维特征,但我们希望占用值定义在三维空间中,对吧,怎样才能做到呢?

我们使用基于查询的注意力(attention),来生成这些三维的占有值特征。这其实与几年前一篇同名论文《占有网络》的出现颇为相似,那篇文章也是查询一系列三维点,以确定三维点是否被占用。

这里的网络也有类似的性质,我们接受三维的位置编码,然后将其映射为固定的查询。这些固定的查询然后参与我们每一个图像空间的特征,我们在图像空间中也嵌入了位置信息。这样,这些三维查询参与所有图像流的图像空间查询,然后生成三维的占用特征。

因为这些都是高维特征,很难在空间的每个点上直接进行计算。我们采用的方法,是在较低的分辨率下生成这些高维特征,然后使用典型的上采样技术,如反卷积(deconvs),来生成更密的高分辨率占用值。

有趣的是,当我们开始这个项目的时候,我们最初的目标是只处理静态物体,如墙或树。因为我们有很多不同的神经网络在车内运行,处理不同类型的障碍物,我们并没有继续搭建一个主要处理移动物体的网络,如车辆,行人,自行车手等。

而这些网络也生成了车辆的完整运动学数据,如深度,速度,加速度,动力等。我们有这个移动物体的网络,我们当时想,好的,我们这里不需要处理移动物体,我们只需要处理静态物体,如树,墙等。

但事实证明,很难生成显式定义的本体树。在这个例子中,这也是来自我们自己内部的测试:这里有一辆皮卡车,看起来像一个栅栏。

北京邮电大学

————明光之北,蓟门之南,老城墙见证着永不消逝的电波,巍巍银杏守护着这片坚实的土地,低声诉说着“传邮万里”的家国情怀。

众所周知,国内 IT界三所顶尖学府,被称为“两电一邮”。而这独一无二的“一邮”,就是北邮。坊间常“戏说”:20世纪80年代,广电靠北邮;90年代,通信设备商靠北邮;21世纪初十年,电信运营商靠北邮;现在的十年,互联网行业靠北邮。这样说业务有些夸张,但北邮的名声的确远扬在外。甚至有圈内的人这样讲“互联网行业的昨天、今天和明天,映射的就是北邮的过去、现在和将来。”

面临就业,技术重要还是机遇重要?只有小孩才做选择,我们当然两个都要。信息技术的发展冲击着人们的生活,也影响着世界的未来,北邮作为信息通信行业的中流砥柱,不断向各个领域输送着新鲜血液。多年来就业率始终保持在99%以上,中国移动、中国联通、中国电信、阿里巴巴、百度、华为等知名企业,都纷纷向北邮学子敞开怀抱。“邮子”们的就业形势一片大好,简直如“邮”神助。

这里上网不要钱。这里是五道口沿线第一所拥有校园无限上网流量的高校!2019级新生报道现场,北邮率先用起了“刷脸”系统,只需简单刷一下脸,就可完成全部的报到流程。北邮人,从不缺新鲜的体验。北邮还是5G时代的新一代“网红”。2019北邮联合知乎发起主题为“科技共振之5G”的活动,邀请行业专家解答分享,满足了大家对5G的求知欲。

…… …… ……

除了过硬的知识技能,漂亮得竞赛成绩,北邮人更是将专业技术融入了日常生活的每个角落。你想要的样子这里都有,学在北邮,就是不停解锁校园新姿态,相信四年的北邮时光,可以让你交上一份满意的答卷。

#情感# 49岁的女人情感自述:面对着选择式的爱情,这份爱好难

49岁的我是一位从事十多年家政行业的女人了,我在这个行业已经跌跌撞撞的一个人独自闯荡了十多年了,自从离婚之后我一个独自生存之后就开始进入这个行业了。我的婚姻很是不幸,我从小出生在农村,由于家里贫穷受了很多的苦,我的父母也去世的很早,留下一个妹妹就靠我一个拉扯长大。

我虽然年龄有点大了但是长的非常漂亮,身材不但丰满而且凹凸有致,皮肤也白的如牛奶一样,我的脸是那种圆圆的脸型,脸上还有两个酒窝,认识我的人都夸我贤惠能干,我的话不是很多,但是却待人真诚,许多人都很乐意跟我成为朋友。我没有谈过恋爱,18岁那年我从农村出去外面打工了,认识了我的丈夫。那时我们都是在同一个工厂里面上班的,我遇到困难的时候他经常的帮助我,这对从小艰辛生活的我来说感到非常的温暖,也是一种难以言喻的幸福,后来时间长了他对我展开了追求,他跟我求婚的时候我并没有怎么考虑就答应了。

我们之间可以说是没有谈恋爱,只是工作中的日久生情,我们在一起之后凡事我都是听他的话,只要他说的我都会去做,就连结婚这种大事也是由他一个人决定。我们的婚礼可以说是操办的非常的简陋,就只是酒店定了几桌酒席请了一下亲戚朋友,婚房也是他父母住的老房子,和他的父母挤在一间70多平的旧房子里面。后来每当想起来他是我的这段感情的时候,我就深有感触的想到“我从小吃了很多的苦,没有人关心和疼爱,当我遇到他的求婚的时候,我也没有想太多,只想在这个城市努力生存下去,要改变自己一个人努力生存的不幸命运。所以我就没有多想,只想和他一心一意的过日子。”

我的前夫脾气不是很好,尤其是喝多了就喜欢耍酒疯,我跟他生活了十多年受了很多的苦。我都是为了孩子,要不早就跟他离婚了。我的这段婚姻如此的不幸福是我没有考虑到的,现在成了我一生痛苦的回忆。离婚以后我选择了努力生存下去,我想通过我自己的双手来创造自己的幸福。后来在朋友的介绍下我选择了家政这个行业,我觉得这个行业很合适我。我做事情很认真,做事很有耐心,洗衣做饭更是家常便饭。

我也曾经伺候过80多岁的老人,他的家里人对我的评价很好。3年前的时候我来到张先生的家里来做保姆。张先生的家里是做生意的,家里非常的富裕,他年轻的时候开始创业,吃了很多苦,才有了今天的优越生活。张先生虽然事业做的很成功,可是感情生活却是很失败,他的妻子和做生意的伙伴背叛了他走到了一起,过了很久他才发现,当他发现这一切后,果断的跟妻子离婚了,同时断绝了跟生意伙伴的合作,他同时失去了自己的爱人还有朋友,心里不仅很是痛苦而且还深受打击。

张先生离婚以后就再也没有谈过感情了,一个人也单身了十多年了。张先生对生活很是挑剔,所以选择保姆方面也很是谨慎。在我来到这里之前,张先生也不知道辞退了多少保姆了。我来到了之后把他的家里收拾的井井有条,300多平米的房子被我收拾的干干净净,洁净如新的一样,张先生对我的工作态度和耐心很是欣赏。

张先生也是一个赏罚分明的人,我做的好,他也会在工资之外给我发一个红包来奖励我,让我非常的开心,就这样我们之间相处了两年多,彼此之间可以说是很了解了。有时候张先生很晚才回来,我总是等他回来伺候他休息之后才去休息。有一次张先生很晚才回来,喝的有点多了,看见我了之后想拉着我继续喝,几瓶啤酒下去之后,张先生竟然哭了起来,向我诉说这些年来的委屈,我看在眼里,也很是同情,就抱着他安慰起来。我一边安慰着他,一边说到:“如果你愿意的话我可以这样一辈子服侍你。”张先生听了之后很是感动,连忙答应。

第二天张先生酒醒来以后,像平常一样,并没有对我多说什么。我以为昨天他只是一时酒后糊涂,没想到过了几天之后,张先生拿来了一份合同,对我说:“你不是说要和我在一起吗?你把这份合同签了我们就结婚。”我拿过来合同一看,上面写了很多的条款。意思说的很明白,将来如果我们离婚或者去世,我不能继承他的遗产,只能每个月按时领取固定金额的生活费。我看完了这些条款之后惊讶的说不出话来,也不知道该怎么去面对这份突如其来的感情?面对着这些条款,这就是我要的爱情吗?

这样的爱情难道是我自己一厢情愿的吗?感情是两个人相互理解,相互扶持,而不是用这些字面上的条款来加以约束和限制,更不能自私自利只为自己考虑,不顾别人的看法。张先生的做法只考虑了自己,忽略了我的感受,这样的一纸婚姻不是我想要的爱情,面对着这样的爱情我应不应该去接受呢?你对这份感情是如何看的呢?

(匿名用户)


发布     👍 0 举报 写留言 🖊   
✋热门推荐
  • 8大学生艺术团舞蹈队的舞蹈《我的梦》不管前路多么艰难,都将不忘初心,砥砺前行。4大学生艺术团声乐队带来的《昨日青空》青春如棋,往事如风,回忆里有你有我,还有年少
  • 解决方式: 1、若无,请将面板超温保护器转至 150℃的位置,或使用温度再加 30℃的位置; 2、请通知厂家客服维修部门更换循环马达; 3、请更换温度部份的固态
  • 既可以疏离沉默又可以在不设防的瞬间袒露出灵动,也从来不缺故事感,黑白的氛围显得多情里带凉薄,玻璃大楼里的身影和落日融合,昨天我还在感叹内娱怎么不出产质感男人,今
  • 14、观“无相”:观一切相、皆是虚妄,于虚妄中,见诸法实相,实相无相、即是涅槃妙心,作如是观、是名“观无相”。19、观“无障”:观自性如虚空,一切色相如日月星辰
  • ʜᵅᵖᵖᵞ days to you ⋰⋱‎ ͏ 大子肚‬变小娃娃胎心变心跳胎动变生命今天是你来到这个世界的第①个月虽然你偷走了我的睡眠剥夺了我的自由让我蓬头垢面
  • [怒骂][怒骂][怒骂]港中大暴徒聚集 傳物資充足欲打“持久戰”】香港中文大學今(11月13日)早仍有暴徒聚集在橫跨吐露港公路和東鐵線的二橋處,手持汽油彈、鐵支
  • 成都的音乐文化底蕴,早在一千多年前便埋下了伏笔……近日,成都市文化馆策划推出了线上“弦动我心—从成都出发,将音乐传递给世界”的小提琴演奏会。曲终装戎去,客意犹未
  • 但小城也有其他大城市无可比拟之处,有些成绩放在全国乃至全球也是举足轻重的:因港而立、港城一体,临港经济特色鲜明,日照港港口货物吞吐量居全国沿海港口第6位、全球第
  • 为什么你家给你的,到最后却让我承担这种孤零零的结果,刚结婚不到一年,就到了,该说事就说事,没事就各玩各各过各的日子,那这样下去,没两三年,岂不是拜拜了,你让我多
  • 刘也的魅力真是无底洞啊希望刘也今后的活动也能平稳幸福(因为是用翻译机从日语转换成中文的,所以文章多少会有些违和感。打完感觉本子2/3的内容都不错,具体就是,应该
  • 在8月8日至8月14日期间还可以免费预约一周[打call][打call],订场攻略小游已经整理好了,赶紧预约起来[举手]~~还有免费培训哦。您的问政由千泉街道受
  • 但我的家人会帮我把您们寄给我的礼物安全地堆在我房间里的[二哈][二哈]如果他们还高兴顺手帮我拍一下盒子上的快递单核对发货者的话我会私信和您确认我收到礼物了的!之
  • 同时腾讯发表四点声明:1,抖音违反诚信原则超范围和违规使用来源于微信/QQ的用户头像、昵称等数据,并擅自将腾讯提供给抖音的微信/QQ账号授权登录服务提供给多闪使
  • 其中,有一些,就在于我奢求的清净,在以往记忆里,束缚是那么的多,管教也是无边界,肉体与精神,在童年记忆里,不是一番美妙的感受,从高中起,有了起飞的起点,我就决心
  • !!
  • 他们给了你生命,同时也是爱你爱得最无私的人】【旗舰店】美士进口天然猫粮【3磅144元,5磅224元】【7折,15元券】 【微博发的商品都在我的小店中,直接去小店
  • ”“陛下,没有元丹的凤族,只是一只普通的凤凰,自然逃不过生死之事。可他不同,他是上古的神,还有凤凰元丹护体,定能在轮回道里全身而退。
  • 其一,从基金公司角度看,中小公募整体离任数量更多;其二,基金经理“奔私”出现了新变化。其一,从基金公司角度看,中小公募整体离任数量更多;其二,基金经理“奔私”出
  • 农友会互联网最大新农人社群之一付费累计会员1300个,专注新农人货源,渠道,涉农服务等资源链接,通过自媒体+社群+线下展览形式链接全国涉农企业,截止目前已成功举
  • 自从受伤后就没怎么好好练,今天算是正式恢复健身,状态还行,不是很差,但没之前好本来以为肩膀好了,没想到,上重量了还是疼,抬胳膊那一下还愣了一下,竟然还疼?[允悲