PERADA는 통신 및 계산 비용을 줄이면서도 개인화된 성능과 일반화 능력을 향상시키는 매개변수 효율적인 연합 학습 프레임워크이다.
개별 클라이언트의 데이터에 맞춰 개인화된 모델을 학습하는 새로운 연합 학습 방법론을 제안한다. 클라이언트들은 프라이버시를 보장하는 모델을 공유하고, 이를 활용하여 자신의 데이터에 맞춘 메타 모델을 학습한다. 이를 통해 개별 클라이언트의 성능 향상과 공헌도 평가가 가능하다.
데이터와 클래스 이질성이 높은 환경에서 모델의 성능을 향상시키기 위해 표현 학습 기반의 새로운 접근법을 제안한다. 이를 위해 베이스 레이어를 더 세부적으로 분할하고 적절한 스케줄링 방법을 적용한다.
개인화된 모델을 학습하기 위해 유사한 데이터 생성기를 식별하고 활용하는 방법을 제안한다.
연합 학습에서 데이터 이질성 문제를 해결하기 위해 각 클라이언트 모델을 공유 백본과 개인화된 헤드로 나누고, 공유 백본에 대한 자기 증류를 수행하여 성능을 향상시킨다.
제한된 저장 공간에서 지속적으로 변화하는 데이터 환경에 강건한 개인화된 연합 학습 프레임워크를 제안한다.
이 기사에서는 계층별 기울기 충돌 분석을 기반으로 개인화된 계층과 일반 계층을 자동으로 구분하는 새로운 개인화된 연합 학습(pFL) 접근 방식인 FedLAG(Federated Learning with Layer-wise Aggregation via Gradient Analysis)를 제안합니다.
본 논문에서는 연합 학습에서 개인화를 위한 효율적인 프레임워크인 FLoRAL(Federated Low-Rank Adaptive Learning)을 제안하며, 적은 메모리 비용으로도 효과적인 개인화를 가능하게 하는 방법을 제시합니다.