본 논문은 사전 학습된 이미지 변환기를 활용하여 자원 제한 환경에서 대규모 변환기 모델을 효율적으로 학습하는 연합 분할 학습 알고리즘을 제안한다. 또한 모델 프라이버시를 보호하고 블랙박스 시나리오에서도 사용 가능한 알고리즘을 제안한다.