Core Concepts
동형 암호화를 사용하여 클라이언트의 데이터 프라이버시를 보호하면서도 효율적으로 전이 학습을 수행할 수 있는 HETAL 알고리즘을 제안한다.
Abstract
이 논문은 동형 암호화를 사용하여 클라이언트의 데이터 프라이버시를 보호하면서도 효율적으로 전이 학습을 수행할 수 있는 HETAL 알고리즘을 제안한다.
주요 내용은 다음과 같다:
HETAL은 클라이언트가 자신의 데이터를 동형 암호화하여 서버에 전송하면, 서버가 암호문 상태에서 모델을 fine-tuning하는 방식으로 동작한다. 이를 통해 클라이언트의 데이터 프라이버시가 보호된다.
HETAL은 softmax 함수에 대한 새로운 근사 알고리즘과 효율적인 암호문 행렬 곱셈 알고리즘을 제안하여 실용적인 성능을 달성한다.
5개의 벤치마크 데이터셋에 대한 실험 결과, HETAL은 1시간 이내에 학습을 완료하며, 비암호화 모델 대비 최대 0.51%의 정확도 하락만 있었다.
요약하면, HETAL은 클라이언트의 데이터 프라이버시를 보호하면서도 효율적으로 전이 학습을 수행할 수 있는 실용적인 알고리즘이다.
Stats
전체 학습 시간은 567초에서 3442초 사이로, 1시간 이내에 완료된다.
반복 당 학습 시간은 4.29초에서 15.72초 사이이다.
비암호화 모델 대비 최대 0.51%의 정확도 하락이 있었다.