다양한 딥 네트워크의 학습 과정이 동일한 저차원 다양체를 탐색한다
다양한 구조, 크기, 최적화 방법, 정규화 기법, 데이터 증강 기법, 가중치 초기화를 가진 딥 네트워크들이 예측 공간에서 동일한 저차원 다양체 상에 있다.
딥러닝에서 기하학적으로 적응된 경사 하강법을 통한 균일한 지수 수렴률의 전역 L2 최소화
기하학적으로 적응된 경사 하강법을 통해 과대 매개변수화된 딥러닝 네트워크에서 L2 비용 함수가 균일한 지수 수렴률로 전역 최소값에 도달함을 보여준다.
깊이 모델 학습을 위한 제로 차수 최적화 기술의 확장
제로 차수 최적화 기술을 활용하여 깊이 모델을 효과적으로 학습할 수 있는 새로운 프레임워크 DeepZero를 제안한다.
대규모 모델의 분산 환경에서 비동기적 학습을 위한 ATOM
ATOM은 저렴한 하드웨어를 사용하여 분산 환경에서 대규모 모델을 비동기적으로 학습할 수 있는 탄력적인 분산 학습 프레임워크입니다.
딥러닝 네트워크의 기하학적 구조와 전역 L2 최소화기 구축
이 논문에서는 과소매개변수화된 딥러닝 네트워크에서 L2 비용 함수의 국소 및 전역 최소화기를 명시적으로 결정한다. 이를 통해 딥러닝 네트워크의 기하학적 구조와 특성에 대한 엄밀한 수학적 이해를 얻는다.
노이즈가 있는 기반 모델로 학습하기
노이즈가 있는 사전 훈련 데이터는 ID 작업에 유익하고 OOD 작업에는 해로운 영향을 미칩니다.
이미지 분류의 강인성과 설명 강인성은 실제로 강하게 상관 관계가 있습니까? 입력 손실 랜드스케이프를 통한 분석
이 논문은 이미지 분류 시스템의 강인성에 대한 중요성을 강조하며, 이미지 분류 강인성과 설명 강인성이 강하게 상관 관계가 있는 것을 도전합니다. 설명 강인성을 향상시키는 것이 반드시 설명 손실에 대한 입력 손실 랜드스케이프를 평평하게 만들지는 않음을 보여줍니다.
다항식 폭은 고차원 특징을 가진 집합 표현에 충분하다
다항식 폭은 고차원 특징을 가진 집합 표현에 충분하다.
적절한 스케일링 요소로 깊고 넓은 잔여 신경망의 일반화 능력 향상
깊고 넓은 잔여 신경망의 일반화 능력을 향상시키기 위해 적절한 스케일링 요소를 식별하고 이를 선택하는 기준을 제시합니다.
딥러닝 신경망에서 감독 없이 개념의 분산 표현 이해
딥러닝 모델의 내부 메커니즘을 더 깊게 이해하기 위해 감독 없이 개념의 분산 표현을 발견하는 새로운 방법론을 제안합니다.
© 2024 by Linnk AI