Khái niệm cốt lõi
이 기사에서는 계층별 기울기 충돌 분석을 기반으로 개인화된 계층과 일반 계층을 자동으로 구분하는 새로운 개인화된 연합 학습(pFL) 접근 방식인 FedLAG(Federated Learning with Layer-wise Aggregation via Gradient Analysis)를 제안합니다.
Tóm tắt
FedLAG: 계층별 기울기 충돌 분석을 통한 적응형 계층 분리를 이용한 연합 학습
본 연구 논문에서는 개인화된 연합 학습(pFL)에서 계층별 기울기 충돌을 활용하여 개인화된 계층과 일반 계층을 자동으로 구분하는 새로운 접근 방식인 FedLAG(Federated Learning with Layer-wise Aggregation via Gradient Analysis)를 제안합니다.
이 연구의 주요 목표는 pFL에서 계층 분리를 위한 최적의 선택을 자동으로 식별하는 것입니다. 기존의 pFL 방법은 개인화된 계층과 일반 계층을 구분하기 위해 광범위한 미세 조정이 필요했지만, FedLAG는 계층별 기울기 충돌 분석을 통해 이러한 제한을 해결하고자 합니다.
FedLAG는 서버에서 수행되는 데이터 없는 기울기 발산 분석(GDA) 방법을 사용합니다. 이 기술은 사용자 간의 통신 오버헤드 없이 사용자 기울기 간의 충돌을 분석합니다. GDA는 계층별로 기울기를 분석하고 각 계층이 개인화되어야 하는 정도를 정량화하는 GCξ(l) 점수를 계산합니다. 이 점수를 기반으로 FedLAG는 일반 계층과 개인화된 계층을 구분합니다. 충돌이 감지되면 해당 계층은 개인화된 계층으로 할당되고, 그렇지 않으면 일반 계층으로 남습니다.