핵심 개념
신경망 기계 번역 모델이 문맥 정보를 인간적으로 타당한 방식으로 활용할 수 있는지 여부를 정량화하는 방법을 제안한다.
초록
이 논문은 신경망 기계 번역 모델이 문맥 정보를 인간적으로 타당한 방식으로 활용할 수 있는지 여부를 정량화하는 PECORE 프레임워크를 소개한다.
PECORE는 두 단계로 구성된다:
- 문맥 민감 토큰 식별(CTI): 생성된 텍스트에서 문맥의 영향을 받은 토큰을 식별한다.
- 문맥이 있는 경우와 없는 경우의 모델 출력 확률 분포를 대조하여 문맥 의존적인 토큰을 찾는다.
- 문맥적 단서 귀속(CCI): 문맥 민감 토큰의 예측을 이끌어낸 문맥적 단서를 식별한다.
- 문맥이 있는 경우와 없는 경우의 모델 출력 확률 분포 차이를 귀속 방법으로 분석하여 문맥적 단서를 찾는다.
PECORE를 영어-프랑스어 기계 번역 모델에 적용하여 평가했다. 다양한 대조 지표와 귀속 방법을 비교하였으며, 주석이 있는 데이터셋과 실제 번역 예시에 대해 분석을 수행했다. 이를 통해 모델의 문맥 활용 능력과 타당성을 확인할 수 있었다.
통계
약 400,000명의 미국인이 다발성 경화증(MS)을 앓고 있다.
공포에 질린 왕과 엘리자베스 부인이 시장 여성 무리에 의해 파리로 강제 귀환했다.
경기는 오전 10시에 시작되었으며, 오전 중 약간의 소나기가 있었다.
밝기와 회전은 별의 Rossby 수를 결정하는 데 함께 사용된다.
인용구
"Establishing whether language models can use contextual information in a human-plausible way is important to ensure their trustworthiness in real-world settings."
"To achieve this goal, we propose a novel interpretability framework, which we dub Plausibility Evaluation of Context Reliance (PECORE)."
"PECORE enables the end-to-end extraction of cue-target token pairs consisting of context-sensitive generated tokens and their respective influential contextual cues from language model generations."