Download Linnk AI
•
Autonomous Research Assistant
>
Sign In
insight
-
Softmax 없는 주의 집중 메커니즘
간단하고 효율적인 Softmax 없는 주의 집중 메커니즘: 비전 트랜스포머를 위한 SimA
Softmax 연산을 제거하고 ℓ1-norm을 사용하여 주의 집중 메커니즘을 단순화하는 SimA 기법을 제안한다. SimA는 정확도 저하 없이 계산 효율성을 높일 수 있다.
1