본 논문에서는 다양한 장면에 대한 적응성을 높이기 위해 이기종 병렬 네트워크를 기반으로 하는 적응형 컨볼루션 신경망(ADSRNet)을 제안하여 이미지 초해상도 성능을 향상시킵니다.
본 논문에서는 그래프 신경망(GNN)을 포함한 신경망(NN)이 데이터 포이즈닝 및 백도어 공격에 대해 증명 가능한 강건성을 가질 수 있음을 보여주는 새로운 인증 프레임워크인 QPCert를 제시합니다.
신경망의 초기화에서 레이어별 분산과 학습률의 균형을 조절하면 특징 학습 속도를 크게 향상시킬 수 있으며, 특히 초기 레이어의 학습 속도를 높이는 '업스트림' 초기화가 유리함을 보여줍니다.
작은 매개변수를 가진 편미분 방정식을 풀기 위해 물리 정보 신경망(PINN) 기반의 2단계 신경망 방법을 제안하며, 이 방법은 푸리에 특징이나 절단 매개변수의 계산적 탐색 없이 큰 미분을 효과적으로 처리하여 정확한 솔루션을 제공합니다.
다중 헤드 어텐션 메커니즘의 최적화 및 일반화 특성을 분석하고, 토큰화된 혼합 모델을 통해 이론적 분석 결과를 뒷받침하며, NTK 마진의 최적성에 대한 논의를 제시합니다.
본 논문에서는 입력-출력 관계에 대한 사전 지식이나 제약 조건을 명시적으로 통합하여 제한된 데이터에서 일반화 성능을 향상시키고 안전이 중요한 애플리케이션에 필수적인 제약 조건을 충족하는 신경망 구축을 위한 HardNet이라는 새로운 프레임워크를 제안합니다.
SpeGCL은 그래프의 고주파 정보를 효과적으로 활용하고, 양의 샘플 없이도 효과적인 학습을 가능하게 하는 새로운 그래프 대조 학습 프레임워크입니다.
본 논문에서는 예측 가능한 타이밍 동작을 갖춘 고성능 하드웨어를 필요로 하는 실시간 시스템에서 신경망 추론을 실행하기 위한 새로운 하드웨어 아키텍처와 컴파일러 기반 배포 툴체인을 제안합니다.
본 논문에서는 매끄러운 활성화 함수를 사용하는 심층 신경망을 경사 하강법으로 학습할 때, 초기화가 샘플 복잡도와 일반화 성능에 미치는 영향을 분석하고, 기존 연구보다 개선된 알고리즘 종속적 일반화 오차 상한을 제시합니다. 특히, XOR 분포 학습 문제에서 큰 스텝 크기를 사용하는 미니 배치 확률적 경사 하강법이 기존 커널 방법론보다 우수한 샘플 및 계산 복잡도를 달성할 수 있음을 보여줍니다.
본 논문에서는 그래프 신경망(GNN)의 테스트 시 성능 향상을 위해 리아프노프 안정성 이론에 기반한 새로운 노드 특징 재구성 방법을 제안합니다.