핵심 개념
수직 연합 학습에서 서버와 클라이언트 간 통신 비용을 줄이고 성능을 향상시키기 위해 다중 헤드 프레임워크와 ADMM 기반 최적화 방법을 제안한다.
초록
이 논문은 수직 연합 학습(VFL)의 주요 과제인 높은 통신 비용과 프라이버시 보호 문제를 해결하기 위한 새로운 접근법을 제안한다.
- 다중 헤드 VFL 프레임워크(VIM) 제안:
- 각 클라이언트의 기여도를 고려하여 VFL 최적화 문제를 분해할 수 있게 한다.
- ADMM 기반 최적화 방법(VIMADMM)을 통해 클라이언트가 여러 번 지역 업데이트를 수행할 수 있어 통신 비용을 크게 줄일 수 있다.
- 클라이언트 수준의 차분 프라이버시 보장:
- 클라이언트의 로컬 출력값에 클리핑과 가우시안 노이즈 추가를 통해 클라이언트 수준의 차분 프라이버시를 달성한다.
- 서버의 라벨 프라이버시는 별도의 라벨 DP 메커니즘을 사용하여 보호한다.
- 실험 결과:
- 4개의 VFL 데이터셋에서 VIMADMM과 VIMADMM-J가 기존 방법보다 빠른 수렴 속도와 높은 정확도를 보인다.
- 클라이언트 수준 DP와 라벨 DP 하에서도 높은 유틸리티를 유지한다.
- 학습된 헤드의 가중치를 통해 클라이언트 수준의 설명 가능성을 제공한다.
통계
각 클라이언트의 로컬 출력값(임베딩 또는 로짓)은 클리핑과 가우시안 노이즈 추가를 통해 보호된다.
서버의 라벨은 별도의 라벨 DP 메커니즘을 통해 보호된다.