이 논문은 의견 요약 모델의 감정 편향 문제를 해결하기 위해 대규모 언어 모델과 소규모 언어 모델을 결합한 새로운 데이터 증강 프레임워크를 제안한다.
먼저, 대규모 언어 모델을 활용하여 긍정 리뷰를 부정 리뷰로 변환하는 방식으로 소규모의 합성 부정 리뷰를 생성한다. 이때 내용은 유지하되 감정만 반대로 변경되도록 한다.
다음으로, 생성된 데이터를 활용하여 감정과 내용을 분리하는 디엔탱글 오토인코더 모델을 학습한다. 이 모델은 감정 표현과 내용 표현을 분리하여 학습하며, 서로 다른 감정 표현과 내용 표현을 결합하여 새로운 데이터를 생성할 수 있다.
마지막으로, 디엔탱글 오토인코더 모델을 활용하여 대량의 합성 데이터를 생성하고, 이를 통해 의견 요약 모델의 감정 편향을 해소한다. 실험 결과, 이 프레임워크는 대규모 언어 모델만을 사용하는 방식과 유사한 성능 향상을 보이면서도 더 적은 양의 합성 데이터를 사용할 수 있다.
In eine andere Sprache
aus dem Quellinhalt
arxiv.org
Wichtige Erkenntnisse aus
by Yanyue Zhang... um arxiv.org 03-13-2024
https://arxiv.org/pdf/2403.07693.pdfTiefere Fragen