מושגי ליבה
MaskSearch는 기계 학습 모델에서 생성된 이미지 마스크 데이터베이스를 효율적으로 쿼리할 수 있는 시스템입니다. 이를 통해 모델 설명, 모델 디버깅, 인간 주의력과 모델 주의력 간 차이 분석 등 다양한 응용 분야에서 활용할 수 있습니다.
תקציר
이 논문은 MaskSearch라는 시스템을 소개합니다. MaskSearch는 기계 학습 모델에서 생성된 이미지 마스크 데이터베이스를 효율적으로 쿼리할 수 있는 기능을 제공합니다.
데이터 모델:
- MaskSearch는 마스크 데이터와 메타데이터를 포함하는 관계형 뷰를 제공합니다.
- 관심 영역(ROI)은 쿼리 시 동적으로 계산될 수 있습니다.
- CP 함수는 마스크 내 특정 픽셀 값 범위의 픽셀 수를 계산합니다.
쿼리 유형:
- 필터 쿼리: CP 함수 결과를 기반으로 마스크를 필터링합니다.
- Top-K 쿼리: CP 함수 결과를 기반으로 상위 K개의 마스크를 검색합니다.
- 집계 쿼리: 스칼라 집계와 마스크 집계를 지원합니다.
효율적인 쿼리 실행:
- 누적 히스토그램 인덱스(CHI)는 공간 위치와 픽셀 값 범위에 따른 픽셀 수를 저장하여 효율적인 쿼리 실행을 지원합니다.
- 필터-검증 프레임워크는 CHI를 활용하여 디스크 I/O를 최소화합니다.
데모 시나리오:
- 이미지 분류 모델 디버깅: 모델이 관심 영역이 아닌 배경 픽셀에 집중하는 문제를 해결하기 위해 관련 이미지를 효율적으로 검색하고 데이터셋을 증강할 수 있습니다.
- 적대적 공격 식별: 모델 주의력이 산만한 이미지를 효율적으로 검색하여 적대적 공격을 탐지할 수 있습니다.
- 모델 주의력과 인간 주의력 간 차이 분석: 모델 주의력 마스크와 인간 주의력 마스크의 중첩도를 효율적으로 계산하여 차이를 분석할 수 있습니다.
סטטיסטיקה
이 모델의 정확도는 0.5입니다.
이미지 146번은 실제로는 Meleagris Ocellata 클래스이지만 모델은 이를 Panthera Onca 클래스로 잘못 예측했습니다.