차별화 가능한 무가중치 신경망: 에지 컴퓨팅을 위한 고효율 아키텍처
본 논문에서는 기존의 가중치 기반 신경망과 달리 룩업 테이블을 활용하여 곱셈 연산 없이 높은 효율성을 달성하는 차별화 가능한 무가중치 신경망(DWN)을 제안하고, 다양한 에지 컴퓨팅 환경에서 뛰어난 성능과 효율성을 보여줍니다.
적응형 컨볼루션 신경망을 이용한 이미지 초해상도
본 논문에서는 다양한 장면에 대한 적응성을 높이기 위해 이기종 병렬 네트워크를 기반으로 하는 적응형 컨볼루션 신경망(ADSRNet)을 제안하여 이미지 초해상도 성능을 향상시킵니다.
(그래프) 신경망의 데이터 포이즈닝 및 백도어 공격에 대한 증명 가능한 강건성
본 논문에서는 그래프 신경망(GNN)을 포함한 신경망(NN)이 데이터 포이즈닝 및 백도어 공격에 대해 증명 가능한 강건성을 가질 수 있음을 보여주는 새로운 인증 프레임워크인 QPCert를 제시합니다.
초기화 불균형이 빠른 특징 학습을 촉진하는 방법: 정확한 솔루션 공개
신경망의 초기화에서 레이어별 분산과 학습률의 균형을 조절하면 특징 학습 속도를 크게 향상시킬 수 있으며, 특히 초기 레이어의 학습 속도를 높이는 '업스트림' 초기화가 유리함을 보여줍니다.
작은 매개변수를 가진 편미분 방정식을 위한 2단계 신경망
작은 매개변수를 가진 편미분 방정식을 풀기 위해 물리 정보 신경망(PINN) 기반의 2단계 신경망 방법을 제안하며, 이 방법은 푸리에 특징이나 절단 매개변수의 계산적 탐색 없이 큰 미분을 효과적으로 처리하여 정확한 솔루션을 제공합니다.
다중 헤드 어텐션의 최적화 및 일반화에 대한 연구: 토큰화된 혼합 모델을 중심으로
다중 헤드 어텐션 메커니즘의 최적화 및 일반화 특성을 분석하고, 토큰화된 혼합 모델을 통해 이론적 분석 결과를 뒷받침하며, NTK 마진의 최적성에 대한 논의를 제시합니다.
보편적 근사 보장을 갖춘 강력 제약 신경망
본 논문에서는 입력-출력 관계에 대한 사전 지식이나 제약 조건을 명시적으로 통합하여 제한된 데이터에서 일반화 성능을 향상시키고 안전이 중요한 애플리케이션에 필수적인 제약 조건을 충족하는 신경망 구축을 위한 HardNet이라는 새로운 프레임워크를 제안합니다.
양의 샘플 없이 자기 지도 방식으로 그래프 스펙트럼 대조 학습을 수행하는 SpeGCL
SpeGCL은 그래프의 고주파 정보를 효과적으로 활용하고, 양의 샘플 없이도 효과적인 학습을 가능하게 하는 새로운 그래프 대조 학습 프레임워크입니다.
실시간 신경망 추론을 위한 맞춤형 RISC-V 멀티코어 벡터 프로세서 (진행 중)
본 논문에서는 예측 가능한 타이밍 동작을 갖춘 고성능 하드웨어를 필요로 하는 실시간 시스템에서 신경망 추론을 실행하기 위한 새로운 하드웨어 아키텍처와 컴파일러 기반 배포 툴체인을 제안합니다.
경사 하강법을 사용한 신경망 분류기 학습에 대한 더욱 명확한 보증: 초기화의 역할과 샘플 복잡도 분석
본 논문에서는 매끄러운 활성화 함수를 사용하는 심층 신경망을 경사 하강법으로 학습할 때, 초기화가 샘플 복잡도와 일반화 성능에 미치는 영향을 분석하고, 기존 연구보다 개선된 알고리즘 종속적 일반화 오차 상한을 제시합니다. 특히, XOR 분포 학습 문제에서 큰 스텝 크기를 사용하는 미니 배치 확률적 경사 하강법이 기존 커널 방법론보다 우수한 샘플 및 계산 복잡도를 달성할 수 있음을 보여줍니다.
