Основные понятия
WHALE-FL은 이동 기기의 시스템 동적 특성과 연합 학습 동적 특성을 고려하여 적응형으로 하위 네트워크 크기를 선택함으로써 연합 학습 지연을 효과적으로 줄일 수 있다.
Аннотация
WHALE-FL은 연합 학습(FL) 환경에서 이동 기기의 컴퓨팅 및 통신 이질성 문제를 해결하기 위한 접근법이다. 기존의 고정 크기 하위 네트워크 할당 방식과 달리, WHALE-FL은 이동 기기의 시스템 동적 특성(통신 및 컴퓨팅 능력의 변화)과 연합 학습 동적 특성(학습 진행 상황에 따른 로컬 학습 기여도 요구 변화)을 고려하여 적응형으로 하위 네트워크 크기를 선택한다.
구체적으로, WHALE-FL은 시스템 효율성과 학습 효율성을 절충하는 하위 네트워크 선택 유틸리티 함수를 제안한다. 이 함수는 이동 기기의 실시간 통신 및 컴퓨팅 능력 정보와 연합 학습 진행 상황을 반영하여 각 기기의 적절한 하위 네트워크 크기를 결정한다.
실험 결과, WHALE-FL은 기존 방식 대비 연합 학습 지연을 크게 단축시키면서도 학습 정확도를 유지할 수 있음을 보여준다. 이는 WHALE-FL이 이동 기기의 시스템 및 연합 학습 동적 특성을 효과적으로 활용하여 적응형 하위 네트워크 스케줄링을 수행하기 때문이다.
Статистика
제안된 WHALE-FL 방식은 기존 FedAvg 대비 CNN@MNIST, ResNet18@CIFAR10, Transformer@WikiText2, CNN@HAR 과제에서 각각 약 1.5배, 1.9배, 1.3배, 2.1배 더 빠른 연합 학습 수렴 속도를 보였다.
WHALE-FL은 HeteroFL 대비 CNN@MNIST, ResNet18@CIFAR10, Transformer@WikiText2, CNN@HAR 과제에서 각각 약 1.2배, 1.3배, 1.2배, 1.5배 더 빠른 연합 학습 수렴 속도를 보였다.
Цитаты
"WHALE-FL은 이동 기기의 시스템 동적 특성과 연합 학습 동적 특성을 고려하여 적응형으로 하위 네트워크 크기를 선택함으로써 연합 학습 지연을 효과적으로 줄일 수 있다."
"WHALE-FL은 기존 방식 대비 연합 학습 지연을 크게 단축시키면서도 학습 정확도를 유지할 수 있다."