이 논문은 신경망 연산자의 혼합 정밀도 학습 방법을 제안한다. 신경망 연산자는 편미분 방정식(PDE)의 해를 학습하는 강력한 데이터 기반 기술이지만, 고해상도 데이터와 대규모 문제에 대한 계산 및 메모리 요구사항이 크다.
저자들은 먼저 Fourier 신경망 연산자(FNO)의 복소수 텐서 연산이 학습 병목점임을 확인했다. 이에 따라 저자들은 복소수 연산을 효율적으로 처리하는 혼합 정밀도 FNO 블록을 제안했다. 또한 이론적으로 FNO의 이산화 오차와 정밀도 오차가 비슷한 수준임을 증명했다.
실험 결과, 제안 방법은 GPU 메모리 사용량을 최대 50% 줄이고 처리 속도를 최대 58% 향상시켰으며, 정확도 저하는 0.28% 미만이었다. 또한 정밀도 스케줄링 기법을 통해 전체 정밀도 모델보다 우수한 성능을 달성했다.
To Another Language
from source content
arxiv.org
Viktige innsikter hentet fra
by Renbo Tu,Col... klokken arxiv.org 05-07-2024
https://arxiv.org/pdf/2307.15034.pdfDypere Spørsmål