이 논문에서는 연합 학습(Federated Learning)에서 영감을 받아 개인 맞춤형 대규모 언어 모델을 제안한다. 이 모델은 전통적인 대규모 언어 모델을 사용자의 개인 정보(교육 배경, 취미 등)에 맞게 증류(distillation)한 것이다.
모델은 개인 수준, 전문가 수준, 전통적 수준의 세 가지 수준으로 분류된다. 개인 수준 모델은 사용자의 개인 정보에 적응적이며, 사용자의 입력을 암호화하여 프라이버시를 보호한다. 전문가 수준 모델은 금융, IT, 예술 등 특정 지식을 통합하는 데 초점을 맞춘다. 전통적 모델은 보편적 지식 발견과 전문가 모델 업그레이드에 초점을 맞춘다.
이러한 분류에서 개인 모델은 사용자와 직접 상호 작용한다. 전체 시스템에서 개인 모델은 사용자의 (암호화된) 개인 정보를 가지고 있다. 또한 이러한 모델은 개인용 컴퓨터나 모바일 기기에서 수행할 수 있을 만큼 작아야 한다. 마지막으로 실시간 응답과 높은 품질의 결과를 내야 한다.
제안된 개인 맞춤형 대규모 모델은 언어 및 비전 작업 등 다양한 응용 분야에 적용될 수 있다.
Başka Bir Dile
kaynak içeriğinden
arxiv.org
Önemli Bilgiler Şuradan Elde Edildi
by Yuanhao Gong : arxiv.org 05-07-2024
https://arxiv.org/pdf/2309.14726.pdfDaha Derin Sorular