트랜스포머의 특징: 이론적 헤세 행렬 분석을 통한 통찰

Konsep Inti

트랜스포머의 손실 지형은 데이터, 가중치 및 어텐션 모멘트에 대한 높은 비선형적 의존성과 헤테로젠한 구조를 특징으로 하며, 이는 소프트맥스 및 쿼리-키 매개변수화와 같은 트랜스포머 고유의 설계 선택으로 인해 발생합니다.

Abstrak

트랜스포머의 특징: 이론적 헤세 행렬 분석을 통한 통찰

본 연구는 MLP, CNN과 같은 기존 아키텍처와 비교하여 트랜스포머 기반 모델의 특성, 특히 손실 지형 특징과 과제를 명확히 밝히는 것을 목표로 합니다. 이를 위해 트랜스포머의 손실 지형을 이론적으로 조사하고 헤세 행렬의 구조와 데이터 의존성, 레이어 간의 동작을 분석합니다.

연구진은 단일 셀프 어텐션 레이어를 사용하여 제곱 손실을 갖는 표준 셀프 어텐션의 헤세 행렬을 계산했습니다. 이를 위해 가우스-뉴턴 분해를 사용하여 헤세 행렬을 외적 헤세 행렬과 함수형 헤세 행렬로 분해했습니다. 또한, 행렬 미적분을 사용하여 행렬 형태의 객체에 대한 미분을 정의하고 계산했습니다.

Wawasan Utama Disaring Dari

What Does It Mean to Be a Transformer? Insights from a Theoretical Hessian Analysis

by Weronika Orm... pada arxiv.org 10-16-2024

https://arxiv.org/pdf/2410.10986.pdf