统一开放词汇3D物体检测的循环模态传播

核心概念

提出了OV-Uni3DETR,一种通过循环模态传播实现统一开放词汇3D物体检测的方法。与现有3D检测器相比,OV-Uni3DETR具有以下优势:1)开放词汇3D检测:利用各种可访问的数据,特别是大量的2D检测图像,来提高训练多样性。在推理时,可以检测到已知和未知类别。2)模态统一:可以无缝地适应任何给定的输入模态,有效解决了不同模态或缺失传感器信息的场景,从而支持测试时模态切换。3)场景统一:为由不同传感器收集的各种场景提供了统一的多模态模型架构。

要約

OV-Uni3DETR是一种统一的多模态3D检测器,用于开放词汇3D物体检测。在训练期间,它利用多模态和多源数据,包括点云、带有精确3D框注释并与点云对齐的3D检测图像,以及只有2D框注释的2D检测图像。关键改进是集成2D检测图像,这对于开放词汇3D检测非常有利,因为注释类别数量大大增加。
为了解决多模态学习中的两个挑战,即如何泛化到新类别以及如何从没有3D框注释的2D检测图像中学习,我们提出了循环模态传播的方法。对于2D到3D的传播,我们使用2D开放词汇检测器提取2D边界框,并将其投影到点云空间以近似3D框。这样,2D检测器的丰富语义知识可以传播到3D域,以帮助发现新的框。对于3D到2D,我们利用一个无类别3D检测器的几何知识来定位2D检测图像中的物体,并通过匈牙利匹配分配类别标签。这种几何知识可以弥补2D检测图像中缺乏3D监督信息的问题。
实验结果表明,OV-Uni3DETR在各种场景和模态下都能取得出色的性能,在开放词汇设置下平均超过现有方法6%以上。仅使用RGB图像的性能甚至与之前基于点云的方法相当或更好。

統計

在SUN RGB-D数据集上,OV-Uni3DETR使用点云输入时,对于36个新类别的AP25为9.66%,比CoDA高2.95%。
在ScanNet数据集上,OV-Uni3DETR使用点云输入时,对于新类别的AP25为12.09%,比CoDA高5.55%。
在KITTI数据集上,OV-Uni3DETR使用点云输入时,对于行人类别(新类别)的AP25为19.57%,比3D-CLIP高18.29%。
在nuScenes数据集上,OV-Uni3DETR的NDSnovel为17.05%。

引用

无

抽出されたキーインサイト

OV-Uni3DETR

by Zhenyu Wang,... 場所 arxiv.org 03-29-2024

https://arxiv.org/pdf/2403.19580.pdf

深掘り質問

如何进一步提高OV-Uni3DETR在开放词汇3D检测上的性能

为了进一步提高OV-Uni3DETR在开放词汇3D检测上的性能，可以考虑以下几点：

数据增强：通过增加更多的训练数据，特别是包含更多种类和场景的数据，可以提高模型的泛化能力和检测准确性。
模型细化：对模型架构进行进一步优化和细化，例如增加更多的层级或模块，以提高检测精度和效率。
超参数调整：对模型的超参数进行调整和优化，以找到最佳的参数组合，进一步提升性能。
迁移学习：考虑使用预训练模型或在其他相关任务上训练的模型进行迁移学习，以加速模型训练和提高性能。

OV-Uni3DETR是否可以应用于其他3D视觉任务,如3D语义分割或实例分割

OV-Uni3DETR的多模态学习框架和循环模态传播的思想可以应用于其他3D视觉任务，如3D语义分割或实例分割。具体来说：

3D语义分割：可以利用OV-Uni3DETR的多模态学习框架，结合点云和RGB图像的信息，实现更准确和全面的3D语义分割。
3D实例分割：通过将实例分割任务引入到OV-Uni3DETR的框架中，可以实现对3D场景中不同实例的准确分割和识别，进一步提高模型的应用范围和性能。

循环模态传播的思想是否可以应用于其他跨模态学习的问题中

循环模态传播的思想可以应用于其他跨模态学习的问题中，例如：

跨模态知识传递：在图像和文本之间进行知识传递，可以帮助解决图像标注和检索等任务中的跨模态学习问题。
跨模态情感分析：通过将情感信息从文本传递到图像或音频领域，可以实现更全面和准确的跨模态情感分析。
跨模态推理：利用不同模态数据之间的关联性和互补性，可以实现更高效和准确的跨模态推理，例如在智能交互或智能决策领域的应用。