Conceptos Básicos
MemoryFormer는 완전히 연결된 레이어를 메모리 조회 테이블로 대체하여 트랜스포머 모델의 계산 복잡성을 크게 줄이는 새로운 아키텍처입니다.
Resumen
MemoryFormer: 완전 연결 계층 제거를 통한 트랜스포머 계산 최소화
본 연구 논문에서는 트랜스포머 모델의 계산 복잡성을 줄이기 위해 고안된 새로운 아키텍처인 MemoryFormer를 제안합니다. 기존 연구들이 주로 멀티 헤드 어텐션 연산의 효율성을 개선하는 데 집중한 반면, MemoryFormer는 완전 연결 계층을 메모리 조회 테이블로 대체하여 계산량을 대폭 줄이는 새로운 접근 방식을 제시합니다.
표준 트랜스포머 모델에서 토큰 임베딩의 특징 변환을 수행하는 데는 크게 두 가지 주요 연산이 사용됩니다. 하나는 시퀀스 내의 서로 다른 토큰 간의 장거리 상호 관계를 포착하는 데 중요한 역할을 하는 멀티 헤드 어텐션(MHA)이고, 다른 하나는 시퀀스의 각 토큰에 대해 선형 투영을 수행하는 완전 연결(FC) 계층입니다.
본 연구에서는 완전 연결 계층을 대체할 수 있는, 계산 복잡성이 훨씬 낮으면서도 선형 투영의 특성과 전반적으로 일치하는 대안적인 매핑 함수를 찾는 것을 목표로 합니다. 이를 위해 임베딩 공간에서 LSH 함수를 적용하여 입력 특징 벡터를 인코딩하는 방법을 제안합니다.