이 논문은 데이터셋 편향과 가성 상관관계가 딥 뉴럴 네트워크의 일반화 성능을 크게 저하시킨다는 문제를 다룹니다. 기존의 접근법들은 대안적인 손실 함수나 희귀 패턴에 초점을 맞춘 샘플링 전략을 사용했습니다. 이 논문에서는 새로운 방향을 제안합니다: 데이터셋 편향에 강인한 인덕티브 바이어스를 가진 네트워크 아키텍처를 설계하는 것입니다.
구체적으로, OccamNets는 설계 상 더 단순한 솔루션을 선호하도록 편향되어 있습니다. OccamNets에는 두 가지 인덕티브 바이어스가 있습니다. 첫째, 개별 예제에 필요한 만큼의 네트워크 깊이만 사용하도록 편향되어 있습니다. 둘째, 예측에 더 적은 이미지 위치를 사용하도록 편향되어 있습니다. OccamNets는 더 단순한 가설을 선호하지만, 필요한 경우 더 복잡한 가설도 학습할 수 있습니다.
실험 결과, OccamNets는 이러한 인덕티브 바이어스를 포함하지 않는 아키텍처보다 우수하거나 동등한 성능을 보였습니다. 또한 최신 편향 완화 방법들과 OccamNets를 결합하면 성능이 더 향상되었습니다.
To Another Language
from source content
arxiv.org
ข้อมูลเชิงลึกที่สำคัญจาก
by Robik Shrest... ที่ arxiv.org 04-16-2024
https://arxiv.org/pdf/2204.02426.pdfสอบถามเพิ่มเติม