이 논문은 선택적 합리화 문제에 대한 새로운 접근법을 제안한다. 선택적 합리화는 신경망 모델의 예측 결과를 설명하기 위해 입력 데이터의 일부분(rationale)을 식별하는 기법이다.
기존 방법들은 데이터 내 단축 경로(shortcuts)를 활용하여 예측 결과와 설명을 생성하는 문제가 있었다. 단축 경로는 예측 결과와 강한 상관관계를 가지지만 실제로는 예측 과정을 설명하지 못하는 특징이다.
이 논문에서는 Shortcuts-fused Selective Rationalization (SSR) 방법을 제안한다. SSR은 다음과 같은 핵심 내용을 포함한다:
단축 경로 발견: 지도 학습 데이터에서 단축 경로를 식별하는 방법을 제안한다. 이를 위해 사전 학습된 비지도 합리화 모델을 활용한다.
단축 경로 활용 전략: 식별된 단축 경로 정보를 활용하여 비지도 합리화 과정에서 단축 경로의 영향을 완화하는 두 가지 전략을 제안한다.
데이터 증강: 지도 학습 데이터가 부족한 문제를 해결하기 위해 식별된 단축 경로를 활용한 데이터 증강 기법을 제안한다.
실험 결과, SSR은 기존 비지도 및 반지도 합리화 방법들을 유의미하게 개선하였으며, 지도 학습 방법과 유사한 성능을 달성하였다. 이를 통해 단축 경로를 활용하는 선택적 합리화 모델의 성능과 신뢰성을 향상시킬 수 있음을 보여준다.
To Another Language
from source content
arxiv.org
Key Insights Distilled From
by Linan Yue,Qi... at arxiv.org 03-14-2024
https://arxiv.org/pdf/2403.07955.pdfDeeper Inquiries