Core Concepts
대형 언어 모델이 개인정보를 노출하지 않고도 다른 대형 언어 모델의 도움을 받아 성능을 향상시킬 수 있는 방법을 제안한다.
Abstract
이 논문은 대형 언어 모델(LLM)이 개인정보를 노출하지 않고도 다른 LLM의 도움을 받아 성능을 향상시킬 수 있는 방법을 제안한다.
먼저 저자들은 기존의 캐스케이드 시스템에서 개인정보 유출 문제를 지적한다. 이를 해결하기 위해 저자들은 프라이버시 보존 기술을 활용한 새로운 캐스케이드 시스템을 제안한다.
제안된 방법에는 세 가지가 있다:
학생 모델이 문제 설명을 교사 모델에게 전달하는 방식
학생 모델이 새로운 unlabeled 예제를 생성하고 교사 모델이 이를 라벨링하는 방식
학생 모델이 원본 예제의 개체명을 마스킹하여 전달하는 방식
각 방법은 개인정보 유출 측면에서 장단점이 있다. 저자들은 이를 실험을 통해 분석하고, 상황에 따라 적절한 방법을 선택할 수 있도록 한다.
또한 저자들은 개인정보 유출을 측정하기 위한 두 가지 지표를 제안한다. 하나는 원본 예제와 학생 모델의 쿼리 간 공통 개체명 수를, 다른 하나는 교사 모델이 원본 예제를 추론할 수 있는 정도를 측정한다.
실험 결과, 제안된 방법들은 기존 방식 대비 우수한 성능을 보이면서도 개인정보 유출을 크게 줄일 수 있음을 확인했다.
Stats
학생 모델(Nano-2)의 0샷 성능은 GSM8k에서 11.3%, 의도 인식에서 70.9%, 주관/객관 분류에서 55.6%였다.
교사 모델(Ultra)의 성능은 GSM8k에서 87.8%, 의도 인식에서 97.4%, 주관/객관 분류에서 92.3%였다.
제안된 방법 3(개체명 마스킹)을 사용하면 학생 모델(Nano-2)의 성능이 GSM8k에서 55.9%, 의도 인식에서 94.6%, 주관/객관 분류에서 79.7%까지 향상되었다.