컴퓨팅 최적화 신경망 스케일링 법칙의 4+3 단계: 데이터 복잡도, 목표 복잡도, 모델 매개변수 수의 상호 작용 분석
무제한 데이터 학습 환경에서 주어진 컴퓨팅 예산 내에서 손실을 최소화하는 최적의 모델 크기와 이에 영향을 미치는 요인을 분석합니다.
로컬 및 글로벌 정보를 통합하는 모델에 구애받지 않는 그래프 신경망
새로운 그래프 신경망 프레임워크인 MaGNet(Model-agnostic Graph Neural Network)을 통해 다양한 차수의 이웃 정보를 효과적으로 통합하고, 영향력 있는 하위 그래프 구조를 식별하여 해석 가능한 결과를 제공한다.
희소 예측 코딩 네트워크에서의 헤비안 가소성을 이용한 지속 학습: 설문 조사 및 전망
본 논문은 에너지 효율적인 온라인 학습을 가능하게 하는 희소 예측 코딩 네트워크에서 헤비안 가소성을 활용한 지속 학습에 대한 포괄적인 설문 조사를 제공하고, 이 떠오르는 분야의 미래 연구 방향을 제시합니다.
시그모이드-MSE, 다시 한번: 출력 재설정을 통한 신경망 분류에서 소프트맥스 교차 엔트로피에 대한 도전
본 논문에서는 기존의 소프트맥스 교차 엔트로피 손실 함수 대신 시그모이드 활성화 함수와 함께 평균 제곱 오차(MSE)를 사용하는 새로운 신경망 분류 방법을 제시하고, 출력 재설정 알고리즘을 통해 기존 방법 대비 성능 향상을 보였다.
무선 링크 동작 예측을 위한 신경망과 지수 이동 평균의 혼합
본 논문에서는 밀집한 실내 환경에서 Wi-Fi 링크 품질 예측을 위해 신경망과 지수 이동 평균을 결합한 새로운 접근 방식을 제안하고, 이를 통해 기존 방식보다 뛰어난 정확성과 강력함을 보여줍니다.
깊은 스파이킹 신경망의 가중치-임계값-누출 시너지 학습을 위한 시공간 직교 전파 (STOP)
본 논문에서는 깊은 스파이킹 신경망 (SNN)의 정확도를 향상시키고 메모리 효율성을 높이기 위해 시공간 직교 전파 (STOP) 알고리즘을 제안합니다.
그래프 신경망이 항상 오버스무딩되는 것은 아니다
그래프 신경망(GNN)의 오버스무딩 문제는 가중치 분산을 조정하여 해결할 수 있으며, 이를 통해 깊고 표현력이 뛰어난 GNN을 구축할 수 있다.
확장 쌍곡 딥 컨볼루션 신경망의 범용 통계적 일관성에 관하여
본 논문에서는 유클리드 공간 대신 푸앵카레 디스크 모델 기반의 쌍곡 공간에서 동작하는 확장 컨볼루션 연산을 사용하는 딥 컨볼루션 신경망(eHDCNN)을 제안하고, 이 아키텍처가 기존 유클리드 기반 모델보다 계층적 데이터 표현 학습에 효과적이며 빠른 학습 속도를 보임을 이론적 분석과 실험을 통해 입증합니다.
고정 시간 안정성을 갖춘 신경 ODE 학습 프레임워크: FxTS-Net
본 논문에서는 사용자 정의된 고정 시간 내에 정확한 예측으로 수렴하도록 하는 고정 시간 안정성(FxTS) Lyapunov 조건을 사용하여 신경 ODE를 학습하는 새로운 프레임워크인 FxTS-Net을 제안합니다.
최적의 심층 신경망 구조 탐색을 위한 복잡도 인지 훈련 알고리즘
본 논문에서는 훈련 중에 심층 신경망의 유닛/필터 및 레이어를 동시에 효율적으로 가지치기하여 예측 정확도를 유지하면서 계산 및 매개변수 복잡성을 최적화하는 새로운 알고리즘을 제안합니다.
© 2024 by Linnk AI