Esther|编辑

在渲染、捕捉高清3D场景时,开发者通常采用建模,或用专业3D捕捉等方式,整个流程工作量大、耗时久。NVIDIA科研人员曾指出,近年来图像渲染速度越来越快,渲染模型的训练速度也在加快,已经看到越来越多人利用AI来替代传统计算机图形方案。

因此为了快速获得大量3D场景,谷歌等公司开始探索用NeRF(神经辐射场)模型来合成的方案。比如,谷歌此前已经用NeRF模型将2D图像合成具有立体感的视频,或是根据文本来生成可360°查看的3D虚拟物体。

不过,现有的NeRF算法合成3D图像的视角和深度有限,很难渲染出没有边界的大规模场景,也无法从任意角度查看。换句话说,利用NeRF模型合成的3D场景看起来像是用摄像头对着一个方向移动拍摄的效果。

为了进一步扩大3D场景和模型合成的规模,谷歌科研人员近期训练了一个新的AI模型:mip-NeRF 360。该模型在NeRF基础上可渲染出完整的3D物体和场景,支持从任意视角观看,相当于渲染出完整的3D虚拟空间。而这项技术,将有望加速VR内容开发、仿真培训等场景。

那么,为什么谷歌要开发mip-NeRF 360?它传统的NeRF技术有哪些不同?


传统NeRF模型的延伸

据了解,NeRF是一种深度渲染方法,它使用一个MLP人工神经网络去隐式学习一系列静态图像,并用体积去表示图像中的物体,合成全新的视角。实际上,NeRF通过将特定场景类型与适当的 3D 参数来模拟自然的远近景比例,原理有点类似于光线追踪技术。

传统的NeRF模型是基于多张输入图像来优化的,如果要合成输入图像中没有的新视角会存在一定局限,准确性也不够理想。由于场景中远处和近处的细节和比例不平衡,NeRF模型渲染出的场景可能会存在模糊、低分辨率等问题,训练模型的速度也很慢。而NeRF模型利用少量图像来重建大场景时,可能会出现锯齿。

为了改善这一问题,谷歌科研人员提出了mip-NeRF 360,一种基于NeRF的延伸模型,旨在优化图像采样和混叠的效果。mip-NeRF 360特点是可渲染场景中每一点的360°视角,比mip-NeRF的均方误差降低54%,可合成逼真的视图,以及高度复杂、细节的大场景深度图。

简单来讲,mip-NeRF是对NeRF的一种扩展,区别是NeRF将3D点以射线的形式排列来进行建模,而mip-NeRF则采用椎体的形式。mip-NeRF 360是在mip-NeRF基础上再次扩展,其特点是可合成无边界感的场景,这些场景可从任何方向和距离查看。

渲染复杂的场景

通过mip-NeRF 360,谷歌科研人员可合成与背景独立的3D模型,因此可替换背景此外,也希望渲染出大规模的场景,这个场景可以从任意角度和方向来查看,场景中的内容可以设置在任意距离。相当于用AI合成一个3D游戏中的完整场景。此前的研究显示,基础的NeRF模型难以这样的渲染效果,其渲染的3D场景存在边缘模糊等问题。

NeRF算法通常只能合成有限规模的3D场景,越靠近场景边缘图像越模糊、分辨率越低并且存在锯齿,看起来就像是某种边界,效果不自然。因为NeRF算法没有正确学习远近处物体的自然缩放比例,所以在渲染不同分辨率视图时容易产生锯齿。NeRF渲染的场景仅能合成有限的视角,而且近景和背景的结构需要足够简单,如果太复杂合成效果不理想。

在此基础上的mip-NeRF模型可准确渲染3D物体,但其生成的背景通常较模糊,近景也不够细致。

相比之下,mip-NeRF 360方法可采集到逼真的360°视频数据,其中包含了背景中的草、树叶等细节,而且场景中包含细致的深度信息。另外,mip-NeRF 360在NeRF基础上改进了训练方法,分别利用粗和细光线间隔对场景进行采样。

科研人员表示:mip-NeRF 360 效果比以往的NeRF模型更好,而且比mip-NeRF的均方误差减少了 54%,训练时间仅增加了 1.92 倍。此外,该模型不需要外部训练数据,也不需要生成MVS(多视图立体)代理几何模型。相比之下,mip-NeRF 360会生成非常详细的深度图。

不过,mip-NeRF 360还有一些需要优化的方面,比如:目前主要用于合成近距离视角,距离图像中心远的质会下降。此外mip-NeRF 360的训练时间和训练NeRF架构一样需要几个小时。

一些薄的结构和精细的细节可能会被遗漏,例如自行车轮胎的细节,或者树叶上的纹理。在视角远离场景中心时,视图合成质量可能会下降。而且,与大多数类似 NeRF 的模型一样,场景合成算法需要在加速器上进行数小时的训练,因此很难在计算机等设备上本地运算/培训。

参考:

( END)


 
发布     👍 0 举报 写留言 🖊   
✋热门推荐
  • 当时在内蒙用电话和旬阳杜邦交涉,他们让在附近4s店修理,当时我把车开到呼和浩特市一家4s店,发现平衡杆和右前减震都撞坏了,竟然都没有换,大梁校正焊接坑坑洼洼,这
  • 从未改变[心]不忘初心~☻又到了敏感高发的季节了[伤心]温馨提醒:换季脸痒脱皮,不要理解成过敏,是缺水引起的假性过敏[求饶]一:缺水20天,角质层缺水,洁面不擦
  • 区别于其他款的亮点是可以自动吸尘,免洗拖布,自动烘干,也因为看重这些解放双手的功能,才愿意花更高的价格购入一台扫地机器人的,使用下来感觉只要用户好好建图,选择合
  • ”她则毫不犹豫回答:“没有”解释目前没有再婚的打算,“我觉得婚姻好像不是我未来想要的生活模式”但也直言人生有几个VIP,“他绝对是其中之一”不觉得要用什么标签来
  • 蔡蔡爱恰的巧克力饼干到了~嘻嘻嘻这个是椰子味儿的但是没有椰子味儿的今天也是想苏pp的一天,明天去见uki 彩霞吴咩咩,去吃永远第一顿的海底捞,下次想陪uki去上
  • 支持这一申请的西区首席执行官杰斯-泰瑞尔表示:“牛津街正在经历重大的、急需的转型,目前的建筑急需修缮,牛津街需要走在零售休闲和消费趋势的前沿,以吸引全球最优秀的
  • 有一天下午,你跑到我房间来,神秘兮兮的要我闭上眼睛,然后便摇起你心爱#大理丽江旅拍婚纱照#今天看到书上讲:月亮落在双子座的人,喜欢和人交流,想起我从小就是院子里
  • 【商品】【柳之味】酸辣骨汤螺蛳粉【5袋】【价格】原价【29.9元】券后价【26.9元】【领券下单】:【淘口令】¥V9QJ0UU5InV¥【推荐】【最好吃的螺蛳粉
  • 现在刚认识的人来看我真的是一个性格孤僻的自闭人,网上还好,现实里半天憋不出一句话,我真的很努力的在想话题但是想不出...我渐渐开始看重朋友的质量,虽然朋友少很孤
  • “回裾转袖若飞雪,左鋋右鋋生旋风”、“舞势随风散复收,歌声似磬韵还幽”我实在找不出比这两句古人诗词更适合作为尾段舞蹈的评价了。舞蹈自由活泼,形成动感,恰似织锦上
  • 【国庆之赶市集】[放假]国庆最后一天,去赶一趟青年理想生活节的晚集~嗯嗯得先吃饱才有劲儿赶集~[可乐]文通冰室排了40钟的号才落座,我们后面还有53桌在等位……
  • 果然人啊还是不能太八卦毫无意义的八卦有什么好奇的呢以后的你还是要保持高冷范就像是不食人间烟火的小仙女~不可以在晚上做决定否则当你转念一想的时候够你后悔的没有什
  • 明白的多了,看穿的多了,开心越来越少了。明白的多了,看穿的多了,开心越来越少了。
  • 通过调查发现,11月8日凌晨,一男子和一女子在秦某的车辆附近徘徊后,通过“拉车门”的方式,实施了盗窃作案。随后,民警仔细排查秦先生的车辆最近去过的地方和停放的区
  • 作为环路一名科研民工,我也常被质问,所做的东西有什么意义,也困于如何提高所做数据的新颖性,创新性。上次是用老师之前做好的来做下一步的实验但老师做的用完了…今天又
  • 便宜没好货,好货不便宜,这样的说法有一定的道理,但是从现实角度出发,买贵的就是买好的吗?虽然说这些地方的房子也不便宜,但是这样的房子真的就是好的吗?
  • 目前市面上能公布研发人的Nmn只有两家Ardna Super NMN就是其中一家。Ardna是真
  • 昨天闲下来认真思考自己的生活,因为忙碌乃至没有一丝一毫的私人空间的极端压抑下,才会触底反弹,才会迫使自己真正想要开始改变,人可能天生就有惰性,所以向上的人才总会
  • 以前曾经想去JIB,没想到罗马的con因为是非盈利团体主办,拿票更复杂[二哈][二哈][二哈]还有Jensen果真是最贵的,签名合影票还得抢,VIP也可能拍卖到
  • 首次向公众全面而丰富地呈现这位中国近现代建筑师宗师的非凡人生和对中国建筑发展以及南京城市建设做出的杰出贡献。早期金陵大学图书馆和东大楼都有他参与设计。