본 연구에서는 인공지능 시스템에 윤리적 추론 능력을 통합하는 데 있어 지역적, 문화적 차이를 고려한 모델 및 데이터셋 개발의 필요성을 제기합니다. 특히 기존 연구에서 간과되었던 일본어 맥락에서의 윤리적 판단을 위해 공개적으로 사용 가능한 유일한 일본어 상식 도덕성 데이터셋인 JCM 데이터셋을 확장하고자 하였습니다.
JCM 데이터셋은 도덕적 수용 가능성 여부에 따라 라벨링된 일본어 문장 쌍으로 구성되어 있습니다. 그러나 데이터셋의 제한적인 크기와 문장 변형의 특수성으로 인해, 기존 JCM 데이터셋만으로는 강력한 윤리 판단 모델 학습에 어려움이 있었습니다.
이를 해결하기 위해 본 논문에서는 마스크 토큰 및 라벨 개선(MTLE)이라는 새로운 데이터 증강 기법을 제안합니다. MTLE는 대규모 언어 모델(LLM)을 활용하여 문장의 중요 부분을 선택적으로 마스킹하고, 다양한 대체 표현으로 대체하는 방식으로 데이터셋을 확장합니다. 또한, 새롭게 생성된 문장에 대한 라벨을 재할당하여 데이터 다양성을 높입니다.
본 논문에서는 MTLE 기법을 사용하여 기존 JCM 데이터셋을 확장하여 31,184개의 문장으로 구성된 eJCM 데이터셋을 구축했습니다. eJCM 데이터셋은 기존 JCM 데이터셋에 비해 약 2.2배 더 많은 데이터를 포함하고 있으며, MTLE를 통해 생성된 다양한 문장들을 통해 일본 문화 특징을 반영한 도덕적 상황들을 학습할 수 있도록 하였습니다.
eJCM 데이터셋의 효과를 검증하기 위해, 본 논문에서는 BERT 및 RoBERTa 모델을 사용하여 도덕적 수용 가능성 예측 실험을 진행했습니다. 실험 결과, eJCM 데이터셋으로 fine-tuning된 모델들이 기존 JCM 데이터셋이나 AugGPT를 사용하여 확장된 데이터셋으로 학습된 모델들보다 더 높은 성능을 보였습니다. 특히, 일본 문화와 관련된 문장들에 대한 평가에서 eJCM 데이터셋을 사용한 RoBERTa 모델은 GPT-4 Turbo에 근접하는 성능을 보였습니다.
본 연구는 문화적 맥락을 고려한 AI 윤리 판단 모델 개발의 중요성을 강조하고, MTLE 기법을 사용한 데이터 증강을 통해 일본어 맥락에서의 윤리적 판단 성능을 향상시킬 수 있음을 보여주었습니다. 또한, eJCM 데이터셋은 향후 일본어를 비롯한 다양한 언어에서 문화적 특징을 고려한 AI 윤리 모델 개발에 활용될 수 있을 것으로 기대됩니다.
In un'altra lingua
dal contenuto originale
arxiv.org
Approfondimenti chiave tratti da
by Takumi Ohash... alle arxiv.org 10-15-2024
https://arxiv.org/pdf/2410.09564.pdfDomande più approfondite