谷歌PNF全景神经场：能否引领自动驾驶新纪元？

谷歌提出的全景神经场（PNF）方法，通过从图像中导出复杂动态3D场景，展示了其在新视图合成、全景分割、3D编辑及多视图深度预测等方面的潜力。PNF将场景分解为things和stuff，采用特定实例的MLP表示每个对象，提高了效率与精度。该模型仅从彩色图像构建，结合自监督与伪监督优化，有效应对真实世界动态场景。这一创新或将在自动驾驶等领域开辟新路径。

本文提出第一种可以仅从图像中导出复杂动态3D场景的全景辐射场方法，可以有效地用于新视图合成、2D全景分割、3D场景编辑和多视图深度预测等多项任务。

想看更多CVPR2022论文和开源项目可以点击：

点击关注@CVer计算机视觉，第一时间看到最优质、最前沿的CV、AI工作~

注：文末附【Transformer】交流群

PanopticNeuralFields:ASemanticObject-AwareNeuralSceneRepresentation

主页：https://abhijitkundu.info/projects/pnf/

论文：https://arxiv.org/abs/2205.04334

我们提出全景神经场(PNF)，这是一种物体感知神经场景表示，可将场景分解为一组things和stuff。每个对象都由一个定向的3D边界框和一个多层感知器(MLP)表示，该感知器获取位置、方向和时间并输出密度和辐射度。

backgroundstuf由一个类似的MLP表示，该MLP额外输出语义标签。每个对象MLP都是特定于实例的，因此可以比以前的对象感知方法更小更快，同时仍然利用通过元学习初始化合并的特定类别先验。

我们的模型仅从彩色图像构建任何场景的全景辐射场表示。我们使用现成的算法来预测相机姿势、物体轨迹和2D图像语义分割。

然后，我们使用综合分析、彩色图像的自监督和预测语义分割的伪监督，共同优化MLP权重和边界框参数。

在真实世界动态场景的实验中，我们发现我们的模型可以有效地用于新视图合成、2D全景分割、3D场景编辑和多视图深度预测等多项任务。

建了CVer-Transformer交流群！想要进Transformer学习交流群的同学，可以直接加微信号：CVer6666。加的时候备注一下：Transformer+学校/公司+昵称+百度58汽车，即可。然后就可以拉你进群了。

强烈推荐大家关注CVer百度58汽车账号和CVer微信公众号，可以快速了解到最新优质的CV论文。

CVPR2022CSWinTT：基于循环移位窗口注意力的Transformer目标跟踪网络

EdgeViTs：视觉Transformer在移动设备上与轻量级CNN竞争

CVPR2022Oral用于实时地图视角语义分割的跨视图Transformer

顶刊TPAMI2022！基于双网络的单目视频3D多人姿态估计

91.0%准确率！谷歌提出CoCa：对比描述器是图像-文本基础模型

CVPR2022AMD提出：动态SparseR-CNN

DeepMind新作！Flamingo：一种用于小样本学习的视觉语言模型

CVPR2022OralA-ViT：高效视觉Transformer的自适应Tokens

CVPR2022OralFocalsConv：用于3D目标检测的Focal稀疏卷积网络

NVIDIA提出全注意力网络(FAN)：理解视觉Transformer的鲁棒性

超越Swin、ConvNeXt！PAIR提出NAT：相邻注意力Transformer

CVPR2022Oral更快！更好！QnA：高效局部注意力的学习查询

南大提出ResTV2：更简单、更快、更强的视觉Transformer

DeiTIII：视觉Transformer的复仇

CVPR2022OralVideoK-Net：简单强大且通用的视频分割基线

90.4%准确率！DaViT：双注意力视觉Transformer

CVPR2022Oral视觉Transformer新工作！MixFormer：跨窗口和维度的混合特征

CVPR2022Oral全新视觉Transformer主干！NUS&字节跳动提出ShuntedTransformer

何恺明团队新作ViTDet：探索用于目标检测的视觉Transformer骨干网

替代微调！MetaAI提出VPT：视觉PromptTuning

CVPR2022Transformer再屠榜！南大提出MixFormer：端到端目标跟踪新网络

UNeXt：第一个基于卷积和MLP的快速医学图像分割网络

FAIR提出ConvNeXt：2020年代的卷积网络

清华提出：最新的计算机视觉注意力机制(Attention)综述！

SwinTransformer夺得ICCV2021最佳论文！中国学者拿下“半壁江山”！

为何Transformer在计算机视觉中如此受欢迎？

Transformer一脚踹进医学图像分割！看5篇MICCAI2021有感

深度学习中的Attention机制总结与代码实现(2017-2021年

以上内容由58汽车提供。如有任何买车、用车、养车、玩车相关问题，欢迎在下方表单填写您的信息，我们将第一时间与您联系，为您提供快捷、实用、全面的解决方案。