Core Concepts
BERT 인코더 모델의 내부 구조를 시각화하여 모델의 작동 원리와 성능에 대한 통찰을 얻는다.
Abstract
이 연구는 DeepView 방법을 자연어 처리 도메인에 적용하여 BERT 트랜스포머 모델의 임베딩 공간을 분석했다. 주요 내용은 다음과 같다:
- 사전 학습, fine-tuning, 다중 과제 학습 등 다양한 BERT 모델 설정에서 DeepView를 활용하여 모델의 임베딩 공간을 시각화했다.
- 사전 학습 모델의 경우 판별적 거리 정보가 중요하지만, fine-tuning 및 다중 과제 학습 모델에서는 그렇지 않음을 확인했다.
- DeepView를 통해 adversarial 샘플과 이상치를 신속하게 탐지할 수 있음을 보였다.
- 다중 과제 학습 모델의 임베딩 공간 분석을 통해 과제 간 시너지 효과를 발견했다.
- 모델 간 임베딩 공간의 지역적 유사성을 정량적으로 비교할 수 있는 파이프라인을 제시했다.
이를 통해 DeepView가 BERT 기반 자연어 처리 모델의 내부 구조와 작동 원리를 이해하는 데 유용한 도구임을 확인했다.
Stats
사전 학습 BERT 모델의 SST2 데이터셋 분류 정확도는 80%이다.
미세 조정된 BERT 모델의 COLA 데이터셋 분류 정확도는 81%, F1 점수는 0.52이다.
다중 과제 학습 BERT 모델의 RTE 데이터셋 분류 정확도는 76%이다.
Quotes
"Attention based Large Language Models (LLMs)는 자연어 처리 분야의 최신 기술이다."
"BERT와 같은 인코더 모델에도 편향이나 adversarial 공격에 취약한 등의 문제가 존재한다."
"DeepView는 고차원 분류기의 의사결정 함수를 2차원으로 시각화하는 도구이다."