데이터 선택을 통한 다중 디바이스 연합 학습의 효율성 향상
제한된 리소스를 가진 디바이스에서 데이터 선택과 모델 분할 기반 학습을 통해 연합 학습의 효율성을 향상시킬 수 있다.
효율적이고 정확한 분할 연합 학습을 향한 방법
본 논문은 자원 제한적인 AIoT 시스템에서 데이터 이질성과 지연 문제를 해결하기 위해 적응형 슬라이딩 모델 분할 전략과 데이터 균형 기반 학습 메커니즘을 제안한다. 이를 통해 최대 16.5%의 추론 정확도 향상과 3.54배의 학습 가속화를 달성할 수 있다.
연속적인 클라이언트 탈락을 극복하기 위한 중앙 업데이트 모방 기반 연합 학습 알고리즘 MimiC
MimiC 알고리즘은 클라이언트 탈락으로 인한 편향된 모델 업데이트를 보정하여 연합 학습의 안정적인 수렴을 보장한다.
연합 학습에서 데이터 이질성으로 인한 차원 축소 현상 이해 및 해결
연합 학습에서 데이터 이질성으로 인해 전역 모델과 지역 모델 모두에서 심각한 차원 축소 현상이 발생하며, 이를 효과적으로 완화하기 위한 FEDDECORR 방법을 제안한다.
비-IID 데이터를 가진 프라이버시 유연 연합 학습을 위한 근사 경사 코딩
본 연구는 비-IID 데이터와 지연 클라이언트 문제를 해결하기 위해 프라이버시 유연 패러다임을 제안하고, 이를 위한 데이터 공유 및 근사 경사 코딩 기법을 소개한다.
연결된 클라이언트의 가속화된 경사도를 활용한 효율적인 연합 학습
연결된 클라이언트의 가속화된 경사도를 활용하여 클라이언트 간 일관성을 높이고 서버 모델의 수렴 속도를 향상시킨다.
계산 및 통신 효율적인 경량화 수직 연합 학습
본 연구는 계산 및 통신 효율성을 동시에 향상시키는 경량화 수직 연합 학습(LVFL) 기법을 제안한다. LVFL은 특징 모델의 경량화와 특징 임베딩의 경량화를 통해 클라이언트의 다양한 계산 및 통신 능력을 고려한다.
연결 지연 시간이 짧은 동기화 연합 학습을 위한 계층별 모델 업데이트 기반의 지연 인지 기법
본 연구에서는 계층별 모델 업데이트를 통해 지연 사용자의 부분 기울기를 활용하여 동기화 연합 학습의 성능을 향상시키는 지연 인지 기법을 제안한다.
연합 학습을 위한 효율적인 클라이언트 선택 프레임워크: 경사 투영 기반 GPFL
GPFL은 클라이언트의 국소 경사 방향과 전역 경사 방향의 유사도를 측정하여 클라이언트의 데이터 품질을 평가하고, 탐색-활용 메커니즘을 통해 최적의 클라이언트 집합을 선택함으로써 연합 학습의 효율성을 높인다.
연결 속도가 다른 클라이언트를 위한 가지치기 및 복구 기반 연합 학습
이 논문은 실제 환경에서 클라이언트의 다양한 네트워크 속도를 고려하는 새로운 연합 학습 프레임워크를 제안합니다. 이 프레임워크는 비동기 학습 알고리즘과 가지치기 기술을 통합하여 이질적인 장치 시나리오에서 기존 연합 학습 알고리즘의 비효율성과 비동기 알고리즘의 지연 및 일부 클라이언트의 불충분한 학습을 해결합니다. 또한 학습 과정에서 점진적으로 모델 크기를 복구하여 모델 정확도를 유지하면서 학습 속도를 높입니다.
© 2024 by Linnk AI