연합 증류: 종합 리뷰

연합 학습(FL)은 개인 학습 데이터를 공유하지 않고 협력적으로 모델을 학습하는 기술이다. 그러나 FL은 대규모 모델의 높은 통신 비용과 모든 클라이언트와 서버가 동일한 모델 구조를 가져야 한다는 필요성과 같은 문제에 직면한다. 이러한 문제를 해결하기 위해 지식 증류(KD)를 FL에 통합한 연합 증류(FD)가 제안되었다. FD는 모델 매개변수 공유 대신 지식 전달을 가능하게 하여 클라이언트와 서버 간의 더 유연한 지식 전달을 가능하게 한다. 또한 클라이언트와 서버 간 동일한 모델 구조를 요구하지 않음으로써 대규모 모델의 통신 비용을 완화한다.