핵심 개념
PrivQuant는 양자화된 DNN 추론을 위한 2PC 프로토콜과 네트워크 양자화 전략을 공동으로 최적화하여 통신 효율성을 크게 향상시키는 프레임워크입니다.
초록
PrivQuant: 양자화된 네트워크/프로토콜 공동 최적화를 통한 통신 효율적인 개인 정보 보호 추론
본 논문에서는 서버와 클라이언트 모두의 개인 정보를 보호하면서 DNN 추론을 가능하게 하는 안전한 2PC 기반 프레임워크의 통신 효율성을 향상시키는 것을 목표로 합니다.
본 논문에서는 2PC 기반 양자화 추론 프로토콜과 네트워크 양자화 알고리즘을 공동으로 최적화하는 PrivQuant 프레임워크를 제안합니다. PrivQuant는 통신 집약적인 양자화 연산자를 위한 DNN 아키텍처 인식 최적화를 제공하고 통신 감소를 위해 그래프 수준 연산자 융합을 수행합니다. 또한, PrivQuant는 높은 정확도를 유지하면서 추론 효율성을 향상시키기 위해 통신 인식 혼합 정밀도 양자화 알고리즘을 개발합니다.
PrivQuant의 주요 특징
연산자 수준 프로토콜 최적화: 컨볼루션 및 잔차 추가와 같은 통신 집약적인 양자화 연산자에 대한 DNN 아키텍처 인식 프로토콜 최적화를 제안합니다.
그래프 수준 프로토콜 최적화: 추가적인 통신 감소를 위해 연산자 융합 및 부호 전파를 제안합니다.
통신 인식 네트워크 최적화: 효율적이면서도 정확한 2PC 기반 양자화 추론을 가능하게 하는 높은 비트폭 잔차 및 통신 인식 혼합 비트폭 양자화를 활용합니다.