Core Concepts
提出一种硬度感知的语义场景完成方法,通过全局和局部硬度选择和优化难样本,并采用自蒸馏策略提高模型的稳定性和一致性。
Abstract
本文提出了一种硬度感知语义场景完成(HASSC)的方法。HASSC包括以下几个关键点:
硬度感知头(HVM头):
全局硬度: 根据每个体素预测的不确定性来选择难样本。
局部硬度: 根据体素周围的几何信息来对难样本进行加权优化。
通过全局和局部硬度选择和优化难样本,提高模型在复杂区域的性能。
自蒸馏训练:
采用指数移动平均(EMA)的方式构建教师模型,与学生模型共享相同的网络结构。
教师模型为学生模型提供可靠的软标签,提高模型的稳定性和一致性。
自蒸馏策略与硬度感知头协同工作,进一步提升模型性能。
实验结果表明,HASSC方法能够有效提升现有语义场景完成模型的性能,且在推理阶段不会增加额外开销。
Stats
大于90%的体素是空的,但需要大量计算来处理所有体素。
边界区域的体素比内部体素更难区分。
Quotes
"Not All Voxels Are Equal: Hardness-Aware Semantic Scene Completion with Self-Distillation"