확산 모델은 복잡한 데이터 분포를 모델링하고 다양한 샘플을 생성할 수 있는 강력한 생성 AI 기술이다. 이 논문에서는 확산 모델의 이론적 기반을 검토하고 다양한 응용 분야를 소개한다.
본 연구는 현대 홉필드 모델의 계산 효율성 문제를 해결하기 위해 비모수 프레임워크를 제안하고, 하위 2차 복잡도와 매력적인 이론적 특성을 가진 효율적인 희소 구조 현대 홉필드 모델을 소개합니다. 또한 희소성에 의해 유도되는 장점을 엄밀하게 특성화하고, 다양한 주목 메커니즘과 연결되는 현대 홉필드 모델 패밀리를 구축합니다.
그래프 구조를 활용하여 유익한 특징 상호작용을 선택하고 이를 통해 임의의 차수의 특징 상호작용을 모델링할 수 있는 새로운 접근법을 제안한다.
본 연구는 계층적 이산 표현 학습을 위한 새로운 변분 베이즈 모델인 HQ-VAE를 제안한다. HQ-VAE는 기존 VQ-VAE 계열 모델의 단점인 코드북 붕괴 문제를 해결하고, 재구성 성능을 향상시킨다.
실제 처리-메모리 시스템에서 그래프 신경망 실행을 효율적으로 가속화하는 기술을 제안한다.
선형 혼합 모델(LMC)은 매우 일반적인 다중 작업 가우시안 프로세스 모델이지만, 데이터 포인트와 작업 수에 따라 세 제곱의 복잡도를 가지므로 대부분의 응용 프로그램에서는 근사치가 필요하다. 그러나 최근 연구에 따르면 특정 조건에서 모델의 잠재 프로세스를 분리할 수 있어 복잡도가 잠재 프로세스 수에 선형적으로만 증가한다.