核心概念
본 논문은 데이터 내 단축 경로를 발견하고 활용하여 선택적 합리화 성능을 향상시키는 방법을 제안한다.
要約
이 논문은 선택적 합리화 문제를 다룹니다. 선택적 합리화는 신경망 모델의 예측 결과를 설명하기 위해 입력 데이터의 일부분(rationale)을 식별하는 것입니다.
- 기존 방법들은 데이터 내 단축 경로(shortcuts)를 활용하여 예측 결과와 rationale를 생성하는 문제가 있었습니다.
- 이 논문에서는 Shortcuts-fused Selective Rationalization (SSR)이라는 방법을 제안합니다. SSR은 다음과 같은 특징을 가집니다:
- 데이터 내 단축 경로를 발견하는 접근법을 제안합니다.
- 발견된 단축 경로 정보를 활용하여 예측 과정에서 단축 경로의 영향을 줄이는 두 가지 전략을 제안합니다.
- 단축 경로 정보를 활용한 데이터 증강 기법을 제안합니다.
- 실험 결과, SSR은 기존 방법들에 비해 예측 성능과 rationale 생성 성능이 크게 향상되었습니다.
統計
영화 리뷰 데이터에서 "received a lukewarm response on review sites"와 같은 문장은 단축 경로로 활용되고 있다.
다중 선택형 질문 답변 데이터에서 정답을 예측하는데 도움이 되는 단축 경로가 존재한다.
引用
"A well-trained unsupervised rationalization model inevitably composes rationales with both the gold rationale and shortcuts tokens."
"Existing selective rationalization methods can be grouped into three types."