核心概念
배치 지향 요소별 데이터 패킹과 근사 활성화를 제안하여 완전 동형 암호화를 통한 비선형 활성화 계산을 효율적으로 구현하고 정확도 손실을 줄임.
要約
이 논문은 프라이버시 보호 신경망(PPNN)에서 완전 동형 암호화(FHE)를 활용하는 방법을 제안한다. FHE는 선형 계산은 잘 지원하지만 비선형 활성화 함수 계산에는 어려움이 있다.
이를 해결하기 위해 다음과 같은 방법을 제안한다:
배치 지향 요소별 데이터 패킹: 한 배치의 이미지들을 요소별로 패킹하여 FHE 슬롯 활용도를 높임.
요소별 근사 활성화: 각 요소별로 2차 다항식을 학습하여 ReLU 활성화 함수를 근사하고 정확도 손실을 줄임.
지식 증류: 큰 모델(교사 모델)의 지식을 작은 모델(학생 모델)에 전달하여 정확도를 향상시킴.
실험 결과, 제안 방식은 기존 채널별 근사 방식 대비 정확도는 1.65% 향상되었고, 이미지 당 추론 시간은 99.5% 단축되었다.
統計
배치 크기가 4096일 때, 제안 방식의 총 추론 시간은 3134.7초이며, 이미지 당 추론 시간은 0.765초이다.
채널별 근사 방식의 총 추론 시간은 159.6초이며, 이미지 당 추론 시간은 0.039초이다.
제안 방식의 정확도는 86.41%이며, 채널별 근사 방식의 정확도는 86.23%이다.
引用
"배치 지향 요소별 데이터 패킹을 통해 많은 수의 이미지를 동시에 처리할 수 있어 추론 시간이 크게 단축되었다."
"요소별 근사 활성화와 지식 증류를 통해 정확도 손실을 효과적으로 줄일 수 있었다."