BERT 모델의 주의 점수가 GLUE 벤치마크의 통사적 및 의미적 과제에서 어휘 범주를 인식하는 방식에 대한 연구

BERT 모델의 미세 조정 과정에서 어휘 범주에 따라 토큰 간 주의 점수가 크게 변화한다.