特斯拉autopilot研发总监Ashok在CVPR2022上的演讲：如何检测障碍物并自动避让
原创 瓦砾村钱罐 瓦砾村夫
这就是为什么我说，要以安全，舒适和速度合理的方式进行驾驶，需要一点点智慧。
例如，如果单纯使用纯粹基于搜索的技术来解决这个驾驶问题，需要花费很长的时间进行计算，因为你希望提前以较缓的制动进行刹车。你需要在碰撞发生前很多秒，就预测这个碰撞是可以避免，还是不可避免的，以稳稳的踩下刹车，安全平稳地避免碰撞。
这类情况的搜索空间可能相当庞大。可能需要很多秒或几分钟，才能生成一个好的解决方案。当在汽车上实时运行时，没有足够的时间来完成这样的计算。
我们采用的方法是，用神经网络来做近似计算。特别是，采用最近出现的隐式场(implicit fields)，我们能够利用同样的工作来生成隐式场，对障碍避让进行编码。
我们的方法是，我们从之前的网络中获取占用值。基本上，我们把占用值编码成一个极度压缩的多层感知器(mlp)，这个多层感知器用于隐式表示，在任何特定的查询状态下，某个碰撞是否可以避免。
而这个方法，在一定的时间范围内给出了某种避免碰撞的保证。例如，我们可以问，在两秒，四秒或某个时间范围内，碰撞是否可以避免？
而查询可以是某种高维向量的状态。这里，我显示的是汽车的位置，方向，速度，侧向和纵向的加速度。基于这个查询状态，网络可以输出是否会发生碰撞的概率。网络可以在几微秒的时间内，快速查询出是否会发生碰撞的大致概率。
为了说明这一点，让我们看一下这个例子。你可以看到一条道路的俯视图，这里的黑色像素是障碍物，灰色像素是道路表面，白色像素是道路指示，车道线。
在这个三维空间的俯视图中，你可以把车放在任何像素的位置上，并模拟碰撞是否可以避免。如果你把汽车想象成一个质点，而碰撞避免的时间周期设为即时，那么当前时间是否发生碰撞，实际上就只取决于障碍物的位置。
但问题是，汽车不是一个质点，它有形状，类似长方形，而且它还可以旋转。这里，当我们把这个形状和障碍物结合起来的时候，我们会立即知道，汽车是否处于碰撞状态。
这里你可以看到，随着汽车的旋转，碰撞场正在发生变化。绿色的输出意味着它处于一个安全的位置，没有发生碰撞。而红色的像素意味着，当汽车位于该像素的位置时，会处于碰撞状态。
当汽车旋转时，你可以看到这个狭窄的通道会关闭，因为在这种配置下，汽车会处于碰撞状态。但当它对齐(道路方向)时，通道就会打开，变得更绿，这意味着汽车不会处于碰撞状态。
这是一个微小的计算任务，显然我们不需要神经网络来完成这个任务。但如果延长时间范围，比如说两秒钟，那么，汽车就可以执行一些动作来避开碰撞。你需要对这个搜索空间进行搜索，以了解碰撞是否会发生。
在这个例子中，车辆的固定速度是每秒13米，而它们也正在改变方向。你可以看到，随着方向的改变，碰撞会在发生和可避免之间进行变化。
它们也可以固定方向，并改变速度。这里，车辆方向是向前的，然后我们只改变速度，增加或减少速度。你可以看到，随着速度的变化，不同的区域打开又关闭。如果你的速度很低，汽车可以非常接近某条曲线，然后调整路线。
显然，你也可以同时调整两个变量。这里，我们同时改变汽车的速度和方向。你可以看到，基于不同的配置参数，网络可以正确地识别：汽车位于不同的位置，在那里，碰撞是否可以避免。
最后，你可以结合这所有的技术，计算出某条避免碰撞的轨迹，并取得进展。
这里，我们模拟的是一位注意力不集中的司机，他只踩了油门，而没有进行转向。汽车会在必要时介入，进行转向或刹车，以避免碰撞。
车子从这里出发，然后，因为它正朝着右边的墙开去，它立即刹车，并猛烈向左转向。一旦对准了以后，然后，它发现它的轨迹会再次发生碰撞，因此它进行右转，然后将自己的状态限定在这个狭窄的通道里。
但有趣的是，一旦它进入这条狭窄的通道，即使障碍物离它很近，它也没有惊慌失措。它说，好的，没问题，我们在这里可以快速前进，因为没有碰撞的风险，或者说，碰撞可以轻易避免。
如果只是用原始的方法进行计算，会花上好几分钟的时间才能得到一个解决方案。但使用网络，它就能让我们快速查询是否会有碰撞，然后采取行动，以防止碰撞的发生。
当你进行闭环模拟时，你也可以看到，汽车能够避免碰撞。这里，常规的autopilot系统并没有在运行，运行的只是碰撞避免系统。我们模拟的是一个人类司机，并没有在专心开车。这位司机只是在踩油门，并没有碰方向盘。
然后，当碰撞快要发生的时候，碰撞避免系统就启动了。然后，系统主动转动方向盘或踩下刹车，以防止汽车发生碰撞。
综上所述，我们展示了我们如何使用多摄像机视频和图像帧，来产生密集的占有值和占有值流。我们还简要地展示了在采用视觉自动标注以外，如何使用车队大量的多视角约束来进行监督。一旦得到了占用值，我们就可以把它应用于其他神经网络，以生成一个高效的碰撞避免场。
如果我们正确地完成所有这些步骤，我们就可以生产出一辆永不会碰撞的汽车。
也许我们缺少的是，更多的工程师和科学家来和我们一起研究这个问题，以构建这项伟大的技术。
谢谢！
原创 瓦砾村钱罐 瓦砾村夫
这就是为什么我说，要以安全，舒适和速度合理的方式进行驾驶，需要一点点智慧。
例如，如果单纯使用纯粹基于搜索的技术来解决这个驾驶问题，需要花费很长的时间进行计算，因为你希望提前以较缓的制动进行刹车。你需要在碰撞发生前很多秒，就预测这个碰撞是可以避免，还是不可避免的，以稳稳的踩下刹车，安全平稳地避免碰撞。
这类情况的搜索空间可能相当庞大。可能需要很多秒或几分钟，才能生成一个好的解决方案。当在汽车上实时运行时，没有足够的时间来完成这样的计算。
我们采用的方法是，用神经网络来做近似计算。特别是，采用最近出现的隐式场(implicit fields)，我们能够利用同样的工作来生成隐式场，对障碍避让进行编码。
我们的方法是，我们从之前的网络中获取占用值。基本上，我们把占用值编码成一个极度压缩的多层感知器(mlp)，这个多层感知器用于隐式表示，在任何特定的查询状态下，某个碰撞是否可以避免。
而这个方法，在一定的时间范围内给出了某种避免碰撞的保证。例如，我们可以问，在两秒，四秒或某个时间范围内，碰撞是否可以避免？
而查询可以是某种高维向量的状态。这里，我显示的是汽车的位置，方向，速度，侧向和纵向的加速度。基于这个查询状态，网络可以输出是否会发生碰撞的概率。网络可以在几微秒的时间内，快速查询出是否会发生碰撞的大致概率。
为了说明这一点，让我们看一下这个例子。你可以看到一条道路的俯视图，这里的黑色像素是障碍物，灰色像素是道路表面，白色像素是道路指示，车道线。
在这个三维空间的俯视图中，你可以把车放在任何像素的位置上，并模拟碰撞是否可以避免。如果你把汽车想象成一个质点，而碰撞避免的时间周期设为即时，那么当前时间是否发生碰撞，实际上就只取决于障碍物的位置。
但问题是，汽车不是一个质点，它有形状，类似长方形，而且它还可以旋转。这里，当我们把这个形状和障碍物结合起来的时候，我们会立即知道，汽车是否处于碰撞状态。
这里你可以看到，随着汽车的旋转，碰撞场正在发生变化。绿色的输出意味着它处于一个安全的位置，没有发生碰撞。而红色的像素意味着，当汽车位于该像素的位置时，会处于碰撞状态。
当汽车旋转时，你可以看到这个狭窄的通道会关闭，因为在这种配置下，汽车会处于碰撞状态。但当它对齐(道路方向)时，通道就会打开，变得更绿，这意味着汽车不会处于碰撞状态。
这是一个微小的计算任务，显然我们不需要神经网络来完成这个任务。但如果延长时间范围，比如说两秒钟，那么，汽车就可以执行一些动作来避开碰撞。你需要对这个搜索空间进行搜索，以了解碰撞是否会发生。
在这个例子中，车辆的固定速度是每秒13米，而它们也正在改变方向。你可以看到，随着方向的改变，碰撞会在发生和可避免之间进行变化。
它们也可以固定方向，并改变速度。这里，车辆方向是向前的，然后我们只改变速度，增加或减少速度。你可以看到，随着速度的变化，不同的区域打开又关闭。如果你的速度很低，汽车可以非常接近某条曲线，然后调整路线。
显然，你也可以同时调整两个变量。这里，我们同时改变汽车的速度和方向。你可以看到，基于不同的配置参数，网络可以正确地识别：汽车位于不同的位置，在那里，碰撞是否可以避免。
最后，你可以结合这所有的技术，计算出某条避免碰撞的轨迹，并取得进展。
这里，我们模拟的是一位注意力不集中的司机，他只踩了油门，而没有进行转向。汽车会在必要时介入，进行转向或刹车，以避免碰撞。
车子从这里出发，然后，因为它正朝着右边的墙开去，它立即刹车，并猛烈向左转向。一旦对准了以后，然后，它发现它的轨迹会再次发生碰撞，因此它进行右转，然后将自己的状态限定在这个狭窄的通道里。
但有趣的是，一旦它进入这条狭窄的通道，即使障碍物离它很近，它也没有惊慌失措。它说，好的，没问题，我们在这里可以快速前进，因为没有碰撞的风险，或者说，碰撞可以轻易避免。
如果只是用原始的方法进行计算，会花上好几分钟的时间才能得到一个解决方案。但使用网络，它就能让我们快速查询是否会有碰撞，然后采取行动，以防止碰撞的发生。
当你进行闭环模拟时，你也可以看到，汽车能够避免碰撞。这里，常规的autopilot系统并没有在运行，运行的只是碰撞避免系统。我们模拟的是一个人类司机，并没有在专心开车。这位司机只是在踩油门，并没有碰方向盘。
然后，当碰撞快要发生的时候，碰撞避免系统就启动了。然后，系统主动转动方向盘或踩下刹车，以防止汽车发生碰撞。
综上所述，我们展示了我们如何使用多摄像机视频和图像帧，来产生密集的占有值和占有值流。我们还简要地展示了在采用视觉自动标注以外，如何使用车队大量的多视角约束来进行监督。一旦得到了占用值，我们就可以把它应用于其他神经网络，以生成一个高效的碰撞避免场。
如果我们正确地完成所有这些步骤，我们就可以生产出一辆永不会碰撞的汽车。
也许我们缺少的是，更多的工程师和科学家来和我们一起研究这个问题，以构建这项伟大的技术。
谢谢！
“结婚有那么重要吗？”
“结婚不重要，找到一个可以和自己快乐过一生的人比较重要”
结婚应该就是你认为可以和我共度一生，我认为可以和你共度一生，达成共识，愿意共同承担责任的结果。这个一生很长 要面对很多事 琐碎的复杂的对的错的开心的难过的 所以需要慎重需要耐心 太多了说不清 总之不能缺少爱。“有爱可以减少一半的人间疾苦”这是我现在的想法，不知道以后会不会有其他看法。希望自己有爱大步向前走吧。其实爱是什么呢？不知道[哈哈] 暂时觉得就是可以让彼此轻松快乐的面对生活。
半夜说疯话，结束，大拇哥痛痛！肿的真是又红又亮[哈哈]
“结婚不重要，找到一个可以和自己快乐过一生的人比较重要”
结婚应该就是你认为可以和我共度一生，我认为可以和你共度一生，达成共识，愿意共同承担责任的结果。这个一生很长 要面对很多事 琐碎的复杂的对的错的开心的难过的 所以需要慎重需要耐心 太多了说不清 总之不能缺少爱。“有爱可以减少一半的人间疾苦”这是我现在的想法，不知道以后会不会有其他看法。希望自己有爱大步向前走吧。其实爱是什么呢？不知道[哈哈] 暂时觉得就是可以让彼此轻松快乐的面对生活。
半夜说疯话，结束，大拇哥痛痛！肿的真是又红又亮[哈哈]
要谈就谈很久的恋爱吧。
我们都知道，旷日持久地维持一段关系，是非常耗时耗心耗精力的事情。
但把感情当作一场蹦迪狂欢来参与，就对爱情太缺少敬畏了。
很多人都遇到过这种感情，突如其来，就转瞬即逝。
从一开始的暗生情愫互发消息，电话不停，见面不够，到后面争吵过后的互删，闭口不谈。就像是做了一场梦，醒来什么都没剩下。
有些人各种情话游刃有余，却从来缺乏真情实感。迅速亲密，假装亲昵，却根本没有真正了解过对方。
我不提倡这种速食爱情的模式。
谈起来是很简单，若即若离，好像随时都能抽身而退。但时间久了之后，只会让人质疑爱情，更不敢投入到下一段感情。
说真的，我还是希望每一份真情都被善待。每一个想好好在一起的人，都能被保护，被宠爱。
要谈就谈很久的恋爱吧。这一辈子心动的机会那么少，请一定要留给对的人。
文/末那大叔#一个值得收藏的书单#
我们都知道，旷日持久地维持一段关系，是非常耗时耗心耗精力的事情。
但把感情当作一场蹦迪狂欢来参与，就对爱情太缺少敬畏了。
很多人都遇到过这种感情，突如其来，就转瞬即逝。
从一开始的暗生情愫互发消息，电话不停，见面不够，到后面争吵过后的互删，闭口不谈。就像是做了一场梦，醒来什么都没剩下。
有些人各种情话游刃有余，却从来缺乏真情实感。迅速亲密，假装亲昵，却根本没有真正了解过对方。
我不提倡这种速食爱情的模式。
谈起来是很简单，若即若离，好像随时都能抽身而退。但时间久了之后，只会让人质疑爱情，更不敢投入到下一段感情。
说真的，我还是希望每一份真情都被善待。每一个想好好在一起的人，都能被保护，被宠爱。
要谈就谈很久的恋爱吧。这一辈子心动的机会那么少，请一定要留给对的人。
文/末那大叔#一个值得收藏的书单#
✋热门推荐