Temel Kavramlar
본 연구는 생성 언어 모델의 출력 텍스트와 긴 입력 텍스트에 대한 과제를 해결하기 위해 MExGen이라는 일반적인 프레임워크를 제안한다. 이를 통해 다양한 귀인 알고리즘을 활용하여 더 지역적으로 충실한 설명을 제공할 수 있다.
Özet
본 연구는 생성 언어 모델에 대한 퍼터베이션 기반 입력 귀인 설명 방법을 제안한다. 생성 언어 모델의 출력이 텍스트이고 입력 텍스트가 길다는 과제를 해결하기 위해 MExGen이라는 일반적인 프레임워크를 제안한다.
출력 텍스트 문제 해결을 위해 스칼라라이저라는 개념을 도입하여 텍스트를 실수로 매핑한다. 입력 길이 문제 해결을 위해 다음과 같은 방법을 사용한다:
언어학적 분할: 문장, 구, 단어 등 다양한 수준의 언어 단위로 입력 텍스트를 분할한다.
다층 귀인: 보다 거친 수준에서 시작하여 점진적으로 세부 수준으로 내려가는 방식으로 귀인을 수행한다.
선형 복잡도 알고리즘: 단위 수에 선형적으로 확장되는 귀인 방법을 사용한다.
요약과 문맥 기반 질문 답변 과제에 대한 체계적인 평가 결과, MExGen 프레임워크를 활용한 방법들이 기존 방법들보다 더 지역적으로 충실한 설명을 제공하는 것으로 나타났다.
İstatistikler
생성 언어 모델의 출력 로그 확률은 입력 부분의 중요도를 설명하는 데 가장 유용하다.
모델 로그 확률에 대한 접근이 불가능한 경우, BERT 점수가 가장 유사한 설명을 제공한다.
Alıntılar
"퍼터베이션 기반 설명 방법은 텍스트 분류에 널리 적용되어 왔지만, 자연어 생성 모델에 대한 연구는 부족한 실정이다."
"본 연구는 생성 언어 모델의 출력 텍스트와 긴 입력 텍스트에 대한 과제를 해결하기 위해 MExGen이라는 일반적인 프레임워크를 제안한다."