Kernekoncepter
본 논문은 최적 제어 이론을 활용하여 시간에 따른 신경망 학습을 위한 통합 프레임워크인 Hamiltonian Learning을 제안한다.
Resumé
이 논문은 신경망 학습을 위한 통합 프레임워크인 Hamiltonian Learning을 제안한다. 이 프레임워크는 최적 제어 이론의 도구를 활용하여 시간에 따른 신경망 계산 및 학습 동역학을 기술한다.
주요 내용은 다음과 같다:
상태 방정식 기반의 신경망 모델을 제안하여 시간에 따른 계산과 학습을 기술한다.
코스테이트(costate) 변수를 도입하여 최적 제어 문제를 정의하고, 이를 해결하기 위한 Hamilton 방정식을 제시한다.
Hamilton 방정식을 전방향으로 통합하여 시간에 따른 학습을 수행하는 Hamiltonian Learning 알고리즘을 제안한다.
Hamiltonian Learning이 기존의 BackPropagation 및 BackPropagation Through Time 알고리즘을 포괄할 수 있음을 보인다.
Hamiltonian Learning이 시간 및 공간적으로 완전히 지역적인 학습을 가능하게 하고, 메모리 효율적인 BackPropagation을 구현할 수 있음을 보인다.
이 프레임워크는 시간에 따른 학습 문제에 대한 새로운 관점을 제시하여 연구자들에게 영감을 줄 것으로 기대된다.
Statistik
시간 t에 따른 데이터 입력 ut ∈ Rd
시간 t에 따른 신경망 출력 yt
시간 t에 따른 신경망 상태 ht
시간 t에 따른 신경망 가중치 θt = [θh
t, θy
t]