Core Concepts
비지도 학습 모델을 활용하여 순방향 순방향 알고리즘의 한계를 극복하고 다양한 데이터셋과 과제에서 안정적인 학습을 가능하게 한다.
Abstract
최근 ChatGPT와 같은 대규모 언어 모델들이 인간의 능력을 능가하는 성과를 보이고 있다. 이는 주로 역전파 알고리즘(BP)과 하드웨어 기술의 발전에 힘입은 바가 크다. 그러나 BP는 생물학적 관점에서 문제점이 지적되어 왔다. 이를 해결하기 위해 피드백 정렬, 예측 코딩 등 다양한 알고리즘이 제안되었지만 BP를 완전히 대체하지는 못했다.
최근 제안된 순방향 순방향(FF) 알고리즘은 BP와 달리 오직 순방향 연산만을 사용하여 생물학적 과정에 더 부합한다. 그러나 FF는 특수한 입력과 손실 함수를 요구하는 등의 한계가 있어 다양한 상황에 적용하기 어렵다.
이에 본 연구에서는 비지도 학습 모델을 활용한 비지도 학습 기반 순방향 순방향(UFF) 알고리즘을 제안한다. UFF는 입력과 손실 함수에 대한 제약 없이 표준 딥러닝 프로세스를 사용할 수 있다. 또한 각 레이어의 독립적인 학습 특성을 유지하여 물리적으로 분리된 환경에서의 활용 가능성을 확인하였다.
실험 결과, UFF 모델은 FF 모델보다 안정적인 성능을 보였으며, 특히 합성곱 기반 UFF 모델은 기존 BP 기반 모델들과 유사한 수준의 성능을 달성하였다. 이를 통해 UFF 방식이 BP를 완전히 대체하기는 어렵지만, BP 적용이 어려운 환경에서 유용한 대안이 될 수 있음을 확인하였다.
Stats
순방향 순방향 알고리즘은 기존 역전파 알고리즘에 비해 약 2배 더 오래 걸리는 것으로 나타났다.
합성곱 기반 UFF 모델과 GAN 기반 UFF 모델은 다른 모델에 비해 3-7배 더 오래 걸리는 것으로 나타났다.
Quotes
"최근 대규모 언어 모델들이 인간의 능력을 능가하는 성과를 보이고 있다."
"순방향 순방향 알고리즘은 생물학적 과정에 더 부합하지만 다양한 상황에 적용하기 어려운 한계가 있다."
"비지도 학습 기반 순방향 순방향 알고리즘은 입력과 손실 함수에 대한 제약 없이 표준 딥러닝 프로세스를 사용할 수 있다."