Konsep Inti
관찰된 테스트 응답 통계를 기반으로 논리적으로 일관된 그룹 평가만을 식별할 수 있다. 이를 통해 적어도 하나의 앙상블 구성원이 오작동하고 있음을 증명할 수 있다.
Abstrak
이 논문은 이진 분류 작업을 수행한 에이전트들의 동의와 불일치를 활용하여 논리적으로 일관된 그룹 평가를 식별하는 방법을 제안한다.
먼저 N=1 및 N=2 앙상블에 대한 평가 모델을 구축한다. 이를 통해 모든 이진 응답자가 준수해야 하는 대수적 관계(공리)를 도출한다.
N=1 공리는 관찰된 응답 통계와 정확도 통계 간의 관계를 정의한다. N=2 공리는 이 단일 분류기 공리에 더해 쌍 분류기 간 상관관계를 포함한다.
이러한 공리를 활용하여 논리적으로 일관된 그룹 평가만을 식별할 수 있다. 이를 통해 적어도 하나의 앙상블 구성원이 안전 사양을 위반하고 있음을 증명할 수 있다. 이는 무감독 평가에 대한 형식 검증의 한 예이다.
Statistik
0 ≤ (Q - Qa) - 146 + Ra1,a ≤ (Q - Qa)
0 ≤ Qa - 135 + Rb1,b ≤ Qa
0 ≤ (Q - Qa) - 27 + Ra2,a ≤ (Q - Qa)
0 ≤ Qa - 254 + Rb2,b ≤ Qa
0 ≤ (Q - Qa) - 234 + Ra3,a ≤ (Q - Qa)
0 ≤ Qa - 47 + Rb3,b ≤ Qa