特斯拉autopilot研发总监Ashok在CVPR2022上的演讲：如何检测障碍物并自动避让
原创 瓦砾村钱罐 瓦砾村夫
这就是为什么我说，要以安全，舒适和速度合理的方式进行驾驶，需要一点点智慧。
例如，如果单纯使用纯粹基于搜索的技术来解决这个驾驶问题，需要花费很长的时间进行计算，因为你希望提前以较缓的制动进行刹车。你需要在碰撞发生前很多秒，就预测这个碰撞是可以避免，还是不可避免的，以稳稳的踩下刹车，安全平稳地避免碰撞。
这类情况的搜索空间可能相当庞大。可能需要很多秒或几分钟，才能生成一个好的解决方案。当在汽车上实时运行时，没有足够的时间来完成这样的计算。
我们采用的方法是，用神经网络来做近似计算。特别是，采用最近出现的隐式场(implicit fields)，我们能够利用同样的工作来生成隐式场，对障碍避让进行编码。
我们的方法是，我们从之前的网络中获取占用值。基本上，我们把占用值编码成一个极度压缩的多层感知器(mlp)，这个多层感知器用于隐式表示，在任何特定的查询状态下，某个碰撞是否可以避免。
而这个方法，在一定的时间范围内给出了某种避免碰撞的保证。例如，我们可以问，在两秒，四秒或某个时间范围内，碰撞是否可以避免？
而查询可以是某种高维向量的状态。这里，我显示的是汽车的位置，方向，速度，侧向和纵向的加速度。基于这个查询状态，网络可以输出是否会发生碰撞的概率。网络可以在几微秒的时间内，快速查询出是否会发生碰撞的大致概率。
为了说明这一点，让我们看一下这个例子。你可以看到一条道路的俯视图，这里的黑色像素是障碍物，灰色像素是道路表面，白色像素是道路指示，车道线。
在这个三维空间的俯视图中，你可以把车放在任何像素的位置上，并模拟碰撞是否可以避免。如果你把汽车想象成一个质点，而碰撞避免的时间周期设为即时，那么当前时间是否发生碰撞，实际上就只取决于障碍物的位置。
但问题是，汽车不是一个质点，它有形状，类似长方形，而且它还可以旋转。这里，当我们把这个形状和障碍物结合起来的时候，我们会立即知道，汽车是否处于碰撞状态。
这里你可以看到，随着汽车的旋转，碰撞场正在发生变化。绿色的输出意味着它处于一个安全的位置，没有发生碰撞。而红色的像素意味着，当汽车位于该像素的位置时，会处于碰撞状态。
当汽车旋转时，你可以看到这个狭窄的通道会关闭，因为在这种配置下，汽车会处于碰撞状态。但当它对齐(道路方向)时，通道就会打开，变得更绿，这意味着汽车不会处于碰撞状态。
这是一个微小的计算任务，显然我们不需要神经网络来完成这个任务。但如果延长时间范围，比如说两秒钟，那么，汽车就可以执行一些动作来避开碰撞。你需要对这个搜索空间进行搜索，以了解碰撞是否会发生。
在这个例子中，车辆的固定速度是每秒13米，而它们也正在改变方向。你可以看到，随着方向的改变，碰撞会在发生和可避免之间进行变化。
它们也可以固定方向，并改变速度。这里，车辆方向是向前的，然后我们只改变速度，增加或减少速度。你可以看到，随着速度的变化，不同的区域打开又关闭。如果你的速度很低，汽车可以非常接近某条曲线，然后调整路线。
显然，你也可以同时调整两个变量。这里，我们同时改变汽车的速度和方向。你可以看到，基于不同的配置参数，网络可以正确地识别：汽车位于不同的位置，在那里，碰撞是否可以避免。
最后，你可以结合这所有的技术，计算出某条避免碰撞的轨迹，并取得进展。
这里，我们模拟的是一位注意力不集中的司机，他只踩了油门，而没有进行转向。汽车会在必要时介入，进行转向或刹车，以避免碰撞。
车子从这里出发，然后，因为它正朝着右边的墙开去，它立即刹车，并猛烈向左转向。一旦对准了以后，然后，它发现它的轨迹会再次发生碰撞，因此它进行右转，然后将自己的状态限定在这个狭窄的通道里。
但有趣的是，一旦它进入这条狭窄的通道，即使障碍物离它很近，它也没有惊慌失措。它说，好的，没问题，我们在这里可以快速前进，因为没有碰撞的风险，或者说，碰撞可以轻易避免。
如果只是用原始的方法进行计算，会花上好几分钟的时间才能得到一个解决方案。但使用网络，它就能让我们快速查询是否会有碰撞，然后采取行动，以防止碰撞的发生。
当你进行闭环模拟时，你也可以看到，汽车能够避免碰撞。这里，常规的autopilot系统并没有在运行，运行的只是碰撞避免系统。我们模拟的是一个人类司机，并没有在专心开车。这位司机只是在踩油门，并没有碰方向盘。
然后，当碰撞快要发生的时候，碰撞避免系统就启动了。然后，系统主动转动方向盘或踩下刹车，以防止汽车发生碰撞。
综上所述，我们展示了我们如何使用多摄像机视频和图像帧，来产生密集的占有值和占有值流。我们还简要地展示了在采用视觉自动标注以外，如何使用车队大量的多视角约束来进行监督。一旦得到了占用值，我们就可以把它应用于其他神经网络，以生成一个高效的碰撞避免场。
如果我们正确地完成所有这些步骤，我们就可以生产出一辆永不会碰撞的汽车。
也许我们缺少的是，更多的工程师和科学家来和我们一起研究这个问题，以构建这项伟大的技术。
谢谢！
原创 瓦砾村钱罐 瓦砾村夫
这就是为什么我说，要以安全，舒适和速度合理的方式进行驾驶，需要一点点智慧。
例如，如果单纯使用纯粹基于搜索的技术来解决这个驾驶问题，需要花费很长的时间进行计算，因为你希望提前以较缓的制动进行刹车。你需要在碰撞发生前很多秒，就预测这个碰撞是可以避免，还是不可避免的，以稳稳的踩下刹车，安全平稳地避免碰撞。
这类情况的搜索空间可能相当庞大。可能需要很多秒或几分钟，才能生成一个好的解决方案。当在汽车上实时运行时，没有足够的时间来完成这样的计算。
我们采用的方法是，用神经网络来做近似计算。特别是，采用最近出现的隐式场(implicit fields)，我们能够利用同样的工作来生成隐式场，对障碍避让进行编码。
我们的方法是，我们从之前的网络中获取占用值。基本上，我们把占用值编码成一个极度压缩的多层感知器(mlp)，这个多层感知器用于隐式表示，在任何特定的查询状态下，某个碰撞是否可以避免。
而这个方法，在一定的时间范围内给出了某种避免碰撞的保证。例如，我们可以问，在两秒，四秒或某个时间范围内，碰撞是否可以避免？
而查询可以是某种高维向量的状态。这里，我显示的是汽车的位置，方向，速度，侧向和纵向的加速度。基于这个查询状态，网络可以输出是否会发生碰撞的概率。网络可以在几微秒的时间内，快速查询出是否会发生碰撞的大致概率。
为了说明这一点，让我们看一下这个例子。你可以看到一条道路的俯视图，这里的黑色像素是障碍物，灰色像素是道路表面，白色像素是道路指示，车道线。
在这个三维空间的俯视图中，你可以把车放在任何像素的位置上，并模拟碰撞是否可以避免。如果你把汽车想象成一个质点，而碰撞避免的时间周期设为即时，那么当前时间是否发生碰撞，实际上就只取决于障碍物的位置。
但问题是，汽车不是一个质点，它有形状，类似长方形，而且它还可以旋转。这里，当我们把这个形状和障碍物结合起来的时候，我们会立即知道，汽车是否处于碰撞状态。
这里你可以看到，随着汽车的旋转，碰撞场正在发生变化。绿色的输出意味着它处于一个安全的位置，没有发生碰撞。而红色的像素意味着，当汽车位于该像素的位置时，会处于碰撞状态。
当汽车旋转时，你可以看到这个狭窄的通道会关闭，因为在这种配置下，汽车会处于碰撞状态。但当它对齐(道路方向)时，通道就会打开，变得更绿，这意味着汽车不会处于碰撞状态。
这是一个微小的计算任务，显然我们不需要神经网络来完成这个任务。但如果延长时间范围，比如说两秒钟，那么，汽车就可以执行一些动作来避开碰撞。你需要对这个搜索空间进行搜索，以了解碰撞是否会发生。
在这个例子中，车辆的固定速度是每秒13米，而它们也正在改变方向。你可以看到，随着方向的改变，碰撞会在发生和可避免之间进行变化。
它们也可以固定方向，并改变速度。这里，车辆方向是向前的，然后我们只改变速度，增加或减少速度。你可以看到，随着速度的变化，不同的区域打开又关闭。如果你的速度很低，汽车可以非常接近某条曲线，然后调整路线。
显然，你也可以同时调整两个变量。这里，我们同时改变汽车的速度和方向。你可以看到，基于不同的配置参数，网络可以正确地识别：汽车位于不同的位置，在那里，碰撞是否可以避免。
最后，你可以结合这所有的技术，计算出某条避免碰撞的轨迹，并取得进展。
这里，我们模拟的是一位注意力不集中的司机，他只踩了油门，而没有进行转向。汽车会在必要时介入，进行转向或刹车，以避免碰撞。
车子从这里出发，然后，因为它正朝着右边的墙开去，它立即刹车，并猛烈向左转向。一旦对准了以后，然后，它发现它的轨迹会再次发生碰撞，因此它进行右转，然后将自己的状态限定在这个狭窄的通道里。
但有趣的是，一旦它进入这条狭窄的通道，即使障碍物离它很近，它也没有惊慌失措。它说，好的，没问题，我们在这里可以快速前进，因为没有碰撞的风险，或者说，碰撞可以轻易避免。
如果只是用原始的方法进行计算，会花上好几分钟的时间才能得到一个解决方案。但使用网络，它就能让我们快速查询是否会有碰撞，然后采取行动，以防止碰撞的发生。
当你进行闭环模拟时，你也可以看到，汽车能够避免碰撞。这里，常规的autopilot系统并没有在运行，运行的只是碰撞避免系统。我们模拟的是一个人类司机，并没有在专心开车。这位司机只是在踩油门，并没有碰方向盘。
然后，当碰撞快要发生的时候，碰撞避免系统就启动了。然后，系统主动转动方向盘或踩下刹车，以防止汽车发生碰撞。
综上所述，我们展示了我们如何使用多摄像机视频和图像帧，来产生密集的占有值和占有值流。我们还简要地展示了在采用视觉自动标注以外，如何使用车队大量的多视角约束来进行监督。一旦得到了占用值，我们就可以把它应用于其他神经网络，以生成一个高效的碰撞避免场。
如果我们正确地完成所有这些步骤，我们就可以生产出一辆永不会碰撞的汽车。
也许我们缺少的是，更多的工程师和科学家来和我们一起研究这个问题，以构建这项伟大的技术。
谢谢！
你满怀期待，希望登上山顶看到太阳你一点点升起，照亮这个城市.一不留神，出现偏差，你走错了道路，当你发现的时候已经走了很久，你望着对面山头，山上的人发现你与你相唤，呼唤快上来，你的绝望出现了，你面前不是通往山顶的路，你的面前只有此路不通，怎么办，你要原路返回，你多期望站在山顶，那又有什么办法你走错了，你一点点从山上滑下来，面对正确的道路你退缩了，你太累了，你走不到山顶了.
—-看得清对面的山，却看不清脚下的路
—-看得清对面的山，却看不清脚下的路
#MileApo[超话]#
当你歪屁股的时候。
他站出来替你说话了。
当你分不清主副cp的时候。
他站出来替你说话了。
当你被大家纠正错误的时候。（boc自导自演装委屈）
他站出来替你说话了。
Boc希望你知道如果不看重人气那一切都不复存在。不要消耗粉丝对偶像的热情。做点公平的事（如果只会嘴上公平。那挨骂是必然）这并不难。
我们没有过分要求什么、只想得到应有的尊重与真诚。好自为之。（没关注不给画面了@boc）
早安[太陽]今天太阳很好[心][心][心]
当你歪屁股的时候。
他站出来替你说话了。
当你分不清主副cp的时候。
他站出来替你说话了。
当你被大家纠正错误的时候。（boc自导自演装委屈）
他站出来替你说话了。
Boc希望你知道如果不看重人气那一切都不复存在。不要消耗粉丝对偶像的热情。做点公平的事（如果只会嘴上公平。那挨骂是必然）这并不难。
我们没有过分要求什么、只想得到应有的尊重与真诚。好自为之。（没关注不给画面了@boc）
早安[太陽]今天太阳很好[心][心][心]
✋热门推荐