Centrala begrepp
Emulator-Assisted Tuning (EAT)과 Parameter-Efficient Fine-Tuning (PEFT)을 결합하여 Federated Parameter-Efficient Emulator-Assisted Tuning (FedPEAT)을 소개하고, 새로운 접근 방식을 통해 모델 개인 정보 보호와 메모리 효율적인 하류 페더레이티드 파인튜닝을 향상시킴.
Statistik
"6G 기술을 통한 페더레이티드 파인튜닝의 지연 시간이 4.60배 더 짧음."
"Emulator 교환은 평균 10번의 반복에서 2.10배 발생."
"FedPEAT의 퍼플렉서티 점수는 Fed-FT보다 3.49점 높음."
Citat
"Large foundation models have garnered attention for their capacity to adapt to new tasks and domains through a transfer learning approach called fine-tuning."
"Our proposed FedPEAT framework, featuring adaptive control and a unique fusion of adapters and emulators, represents a pioneering avenue for advancing model privacy and optimizing memory-efficient downstream federated fine-tuning."