이 논문은 객체 탐지와 계수를 위한 일반화된 프레임워크 PseCo를 제안합니다. PseCo는 SAM과 CLIP의 장점을 활용하여 새로운 카테고리에 대한 객체 탐지와 계수를 수행합니다.
첫째, PseCo는 클래스 무관 객체 위치 추정 기술을 제안합니다. 이를 통해 SAM에 대한 정확하지만 최소한의 포인트 프롬프트를 제공하여 계산 비용을 줄이고 작은 객체도 탐지할 수 있습니다.
둘째, PseCo는 CLIP 텍스트/이미지 임베딩을 활용한 일반화된 객체 분류 기술을 제안합니다. 이를 통해 예시 이미지나 클래스 이름만으로도 임의의 객체를 탐지하고 계수할 수 있습니다.
셋째, PseCo는 계층적 지식 증류 기술을 제안하여 SAM이 생성한 계층적 마스크 제안들 간의 구별력 있는 분류를 가능하게 합니다. 이를 통해 작은 객체도 효과적으로 구분할 수 있습니다.
다양한 벤치마크 실험 결과, PseCo는 객체 탐지와 계수 모두에서 최신 기술 대비 우수한 성능을 보였습니다.
Egy másik nyelvre
a forrásanyagból
arxiv.org
Mélyebb kérdések