Abstract
트랜스포머의 이론적 특성, 특히 기억 용량에 대한 연구
멀티헤드 어텐션 메커니즘의 기억 능력 조사
실험 결과를 통해 증명된 새로운 가정 소개
멀티헤드 어텐션의 기억 능력 증가 방법에 대한 분석
핵심 결과를 실험을 통해 검증
Stats
우리는 새로운 가정을 소개합니다.
우리는 실험 결과를 통해 증명합니다.
Quotes
"Transformers have become the go-to architecture for language and vision tasks."
"Our analysis sheds light on how different attention heads handle various example sequences."