스펙트럼 브리딩: 간섭으로부터 Over-the-Air 연합 학습 보호
본 논문에서는 제한된 대역폭 내에서 Over-the-Air 연합 학습(AirFL) 시스템의 간섭을 효과적으로 억제하기 위해 확률적 경사도 프루닝과 스펙트럼 확산을 결합한 스펙트럼 브리딩이라는 새로운 기법을 제안합니다.
CSI-Free Over-the-Air 연합 학습: 비간섭 검출 기반 NCAirFL
NCAirFL은 채널 상태 정보(CSI) 없이도 효율적인 모델 집계를 가능하게 하는 새로운 비간섭 무선 연합 학습(Federated Learning) 방식으로, 분산된 IoT 기기 환경에서의 AI 구현에 새로운 가능성을 제시합니다.
무선 네트워크에서 동적 교차 계층 연합 학습 프레임워크, FedDCT
무선 네트워크의 이기종 자원과 장치 중단 문제를 해결하기 위해 동적 계층화 및 교차 계층 장치 선택을 활용하는 새로운 연합 학습 프레임워크인 FedDCT를 제안합니다.
의료 영상 이해를 위한 연합 학습 기반 비전-언어 모델의 최적화된 클라이언트 레이어 업데이트 전략: F$^3$OCUS
자원 제약이 있는 환경에서 효율적인 연합 학습을 위해 클라이언트별 레이어 중요도 및 다양성을 고려한 새로운 비전-언어 모델 미세 조정 전략 (F$^3$OCUS)을 제안하고, 이를 통해 의료 영상 이해 작업에서 성능 향상을 달성했습니다.
개인 데이터를 사용한 안전한 학습: 대규모 언어 모델을 위한 연합 학습 프레임워크
대규모 언어 모델(LLM) 학습에 개인 데이터를 안전하게 활용하기 위해 데이터 유출을 방지하고 학습 효율성을 향상시키는 새로운 연합 학습 프레임워크인 FL-GLM을 제안합니다.
대형 언어 모델과 소형 언어 모델을 위한 파라미터 효율적인 연합 동시 튜닝 프레임워크, FedCoLLM
FedCoLLM은 서버 측 대형 언어 모델(LLM)과 클라이언트 측 소형 언어 모델(SLM)을 모두 향상시키기 위해 데이터 프라이버시를 보존하면서 효율적인 지식 전이를 가능하게 하는 새로운 연합 동시 튜닝 프레임워크입니다.
의료 분야의 클래스 불균형 문제 해결을 위한 공동 증류 기반 연합 학습 프레임워크
본 논문에서는 의료 이미지 데이터의 클래스 불균형 문제를 해결하기 위해 공동 증류 기반 연합 학습 프레임워크를 제안하고, 다양한 실험을 통해 제안된 방법이 기존 연합 학습 방법보다 높은 성능과 안정성을 보임을 입증했습니다.
푸시-풀 IoT 무선 액세스 환경에서 시간 제약적인 연합 학습 (FL)
본 논문에서는 시간 제약적인 IoT 환경에서 푸시-풀 통신 패러다임을 활용한 효율적인 연합 학습 (FL) 훈련 절차를 제안하며, 특히 제한된 통신 자원 환경에서 학습 정확도와 속도를 향상시키기 위한 전략적 디바이스 스케줄링 및 데이터 가치 평가 기법의 중요성을 강조합니다.
리소스 제약이 있는 기기에서의 효율적인 Tiny Transformer 연합 파인튜닝: LoRA 대비 계층별 파인튜닝 성능 비교
사전 학습된 Tiny Transformer 모델을 사용한 리소스 제약이 있는 기기에서의 연합 학습에서 계층별 파인튜닝 방식이 LoRA 방식보다 메모리 및 계산 효율성 측면에서 우수한 성능을 보인다.
잡음 레이블이 있는 연합 학습에서의 클라이언트 제거
잡음 레이블이 있는 연합 학습 환경에서 잡음이 있는 클라이언트를 식별하고 제거하는 클라이언트 제거 기술을 통해 모델 성능을 향상시키고 통신 비용을 줄일 수 있습니다.
© 2024 by Linnk AI