개인화된 연합 학습을 위한 일반화 보장과 매개변수 효율적인 PERADA 프레임워크
PERADA는 통신 및 계산 비용을 줄이면서도 개인화된 성능과 일반화 능력을 향상시키는 매개변수 효율적인 연합 학습 프레임워크이다.
개인화된 연합 학습: 스태킹을 통한 접근
개별 클라이언트의 데이터에 맞춰 개인화된 모델을 학습하는 새로운 연합 학습 방법론을 제안한다. 클라이언트들은 프라이버시를 보장하는 모델을 공유하고, 이를 활용하여 자신의 데이터에 맞춘 메타 모델을 학습한다. 이를 통해 개별 클라이언트의 성능 향상과 공헌도 평가가 가능하다.
개인화된 연합 학습을 위한 표현 학습에서의 순차적 레이어 확장
데이터와 클래스 이질성이 높은 환경에서 모델의 성능을 향상시키기 위해 표현 학습 기반의 새로운 접근법을 제안한다. 이를 위해 베이스 레이어를 더 세부적으로 분할하고 적절한 스케줄링 방법을 적용한다.
개인화된 연합 학습을 위한 능동적 샘플링
개인화된 모델을 학습하기 위해 유사한 데이터 생성기를 식별하고 활용하는 방법을 제안한다.
개인화된 연합 학습을 위한 백본 자기 증류
연합 학습에서 데이터 이질성 문제를 해결하기 위해 각 클라이언트 모델을 공유 백본과 개인화된 헤드로 나누고, 공유 백본에 대한 자기 증류를 수행하여 성능을 향상시킨다.
지속적으로 변화하는 데이터 환경에서 제한된 저장 공간 하에서의 개인화된 연합 학습
제한된 저장 공간에서 지속적으로 변화하는 데이터 환경에 강건한 개인화된 연합 학습 프레임워크를 제안한다.
계층별 개인화된 연합 학습: 충돌하는 기울기를 통한 적응형 계층 분리
이 기사에서는 계층별 기울기 충돌 분석을 기반으로 개인화된 계층과 일반 계층을 자동으로 구분하는 새로운 개인화된 연합 학습(pFL) 접근 방식인 FedLAG(Federated Learning with Layer-wise Aggregation via Gradient Analysis)를 제안합니다.
어댑터 혼합을 통한 협업적이고 효율적인 개인화
본 논문에서는 연합 학습에서 개인화를 위한 효율적인 프레임워크인 FLoRAL(Federated Low-Rank Adaptive Learning)을 제안하며, 적은 메모리 비용으로도 효과적인 개인화를 가능하게 하는 방법을 제시합니다.
© 2024 by Linnk AI