인간과 동물의 뇌처럼 지속적으로 학습하는 능력을 신경망에서 구현하기 위해서는 복잡한 내부 시냅스 역학을 지닌 가소성 메커니즘이 필수적이며, 이는 새로운 기억을 통합하는 동시에 기존 기억과의 간섭을 최소화하는 지능형 가소성 알고리즘을 통해 가능해진다.
본 논문에서는 최근 각광받는 Mamba, RWKV, Griffin 등의 게이트형 선형 RNN 아키텍처를 암시적 인과적 자기 어텐션 레이어로서 통합된 관점에서 분석하고, 이를 통해 이러한 모델들의 작동 방식에 대한 설명 가능성을 높이고자 합니다.
대칭 데이터에서 신경망을 훈련할 때, 명시적 등변 아키텍처를 사용하는 것과 데이터 증강을 사용하는 것은 동일한 안정점을 갖지만, 증강 학습에서는 일부 안정점이 불안정해질 수 있다.
거의 선형적인 RNN(AL-RNN)은 최소한의 비선형성을 사용하여 복잡한 동적 시스템을 재구성하고 해석 가능한 기호 표현을 생성하여 시스템 분석을 용이하게 합니다.
고차원 데이터셋을 시각화하고 새로운 샘플을 생성할 수 있는 새로운 생성 모델인 G-NeuroDAVIS를 소개합니다.
본 논문에서는 더 큰 모델(교사)에서 더 작은 모델(학생)으로 지식을 전이하여 학생 모델의 성능을 향상시키는 모델 압축 기술인 지식 증류에 있어서, 기존 방법들이 가지고 있는 한계점을 극복하고자 새로운 접근 방식을 제안합니다.
2024년 노벨 물리학상은 인공 신경망을 이용한 머신 러닝의 토대를 마련한 존 홉필드와 제프리 힌튼에게 수여되었으며, 이는 최근 텍스트, 이미지, 비디오 생성 분야에서 놀라운 발전을 이룬 생성형 AI의 근간이 되는 물리학적 원리를 기리는 의미를 지닌다.
인지는 뉴런 패킷이라는 기본 단위에서 발생하여 사고씨앗이라는 고차원적 구조로 조직되며, 이는 전역 작업 공간 내에서 상호 작용하며 행동, 지각, 학습을 안내한다.
본 논문은 분자 시스템의 평균장 정전기를 모델링하는 데 널리 사용되는 포아송-볼츠만 방정식(PBE)을 풀기 위해 물리 정보 기반 신경망(PINN)을 사용하는 방법을 자세히 조사하고, PINN 아키텍처에 다양한 기능을 통합하여 정확도를 향상시키는 방법을 제시합니다.
이 논문에서는 유한 너비 아키텍처에서 다중 출력 및 합성곱 계층을 갖는 베이지안 심층 선형 네트워크의 특징 학습을 정량적으로 특성화하는 것을 목표로 합니다. 저자는 출력에 대한 사전 분포에 대한 정확한 비점근적 적분 표현, 제곱 오차 손실 함수(가우시안 가능성)의 경우 사후 분포에 대한 분석 공식, 큰 편차 이론을 사용한 특징 학습 무한 너비 체제에 대한 정량적 설명을 포함한 엄격한 결과를 제공합니다.