แนวคิดหลัก
Adanonymizer는 사용자가 개인 정보 보호 수준과 LLM 모델 출력 성능 간의 균형을 유연하게 조절할 수 있는 인터랙티브 시스템으로, 사용자 만족도와 개인 정보 보호 효과를 동시에 향상시킵니다.
บทคัดย่อ
Adanonymizer: 개인 정보 보호와 모델 성능 사이의 균형을 위한 인터랙티브 시스템
본 연구는 인간과 대규모 언어 모델(LLM) 간의 상호 작용에서 개인 정보 보호와 모델 출력 성능 간의 균형을 맞추는 방법을 모색합니다. 특히, 사용자의 개인 정보 보호에 대한 인식을 조사하고, 이러한 균형을 맞출 수 있는 협업적 인터랙션 시스템을 설계하는 데 중점을 둡니다.
연구 1: 개인 정보 위험 및 모델 성능에 미치는 영향 평가
221명의 중국인 참가자를 대상으로 설문 조사를 실시하여 인간-LLM 상호 작용 시 입력 내용에 대한 개인 정보 보호 인식을 조사했습니다.
개인 정보(PI) 공개 비네트를 설계하여 참가자가 인식하는 개인 정보 위험, 유용성 및 발생 빈도를 측정했습니다.
정보 유출 위험 및 재교육 위험이라는 두 가지 새로운 개인 입력 데이터의 개인 정보 보호 위험과 관련하여 위험을 평가했습니다.
Adanonymizer 설계 및 구현
연구 1의 결과를 바탕으로 사용자가 개인 정보 보호와 출력 성능 간의 균형을 조절할 수 있는 협업적 익명화 기술인 Adanonymizer를 개발했습니다.
Adanonymizer는 컬러 팔레트와 유사한 디자인을 사용하여 사용자가 2차원 평면에서 개인 정보 보호-유용성 트레이드 오프를 직관적으로 탐색할 수 있도록 합니다.
사용자는 곡선 근처를 클릭하여 개인 정보 보호와 모델 출력 성능의 균형을 보다 효과적으로 맞추는 후보를 찾을 수 있습니다.
Adanonymizer는 사용자의 개인 정보 보호 및 성능 선호도와 연구 1의 결과를 기반으로 다양한 유형의 정보를 익명화하고, 필요한 경우 추가 수정 옵션을 제공합니다.
연구 2: 실제 작업에서 Adanonymizer 평가
36명의 사용자를 대상으로 사용성 평가 연구를 수행하여 Adanonymizer를 삭제 기술 및 차등 개인 정보 보호(DP) 기반 기준 기술과 비교했습니다.
사용자가 개인 정보를 자주 입력할 수 있는 세 가지 다른 맥락(업무 관련, 학업 관련, 생활 관련)에서 개인 상담 작업을 선택했습니다.
수정 시간, 사용자가 인식하는 모델 출력 성능, 인식된 만족도 측면에서 Adanonymizer가 다른 기준 기술보다 우수한 것으로 나타났습니다.