핵심 개념
대화 요약 모델은 입력 대화의 감정 내용을 잘 보존하지 못한다. 하지만 대화 데이터셋 필터링을 통해 감정 내용 보존을 개선할 수 있다.
초록
이 논문은 대화 요약에서 감정 내용의 보존을 평가하는 새로운 측정 방법인 PSentScore를 제안한다.
먼저 단어 수준의 감정 분석 모델을 학습하고, DialogSum 데이터셋을 분석하여 참조 요약문에 감정 내용이 충분히 반영되지 않음을 확인했다.
이후 PSentScore를 사용하여 상태 기술 모델의 감정 내용 보존 정도를 평가했다. 실험 결과, 감정이 풍부한 대화 데이터로 모델을 학습하면 감정 내용 보존이 크게 향상되지만, 일부 사실 정보 지표는 감소하는 것으로 나타났다.
이를 통해 대화 요약에서 감정 내용의 중요성을 강조하고, 감정 보존과 사실 정보 보존의 균형을 이루는 방법을 제시했다.
통계
대화에서 긍정적/부정적 단어의 비율은 요약문에서 잘 보존되지 않는다.
감정이 풍부한 대화 데이터로 모델을 학습하면 감정 내용 보존이 크게 향상된다.
감정 내용 보존이 향상되면 일부 사실 정보 지표는 감소한다.
인용구
"대화 요약에서 가장 중요한 내용은 거의 항상 사실 정보에 초점을 맞추고 있어, 상호작용의 감정 내용은 제외되고 있다."
"감정 정보는 대화 요약에서 보고할 중요한 내용이다."
"대화 요약 모델은 입력 대화와 요약문 간의 감정 내용 불일치를 종종 보인다."