Core Concepts
이 논문은 선형 공액 잔차 알고리즘을 비선형 문제로 확장한 새로운 가속 알고리즘 nlTGCR을 제안한다. nlTGCR은 대칭성을 활용하고 뉴턴 방법과 유사한 수렴 특성을 가지면서도 Anderson 가속과 같은 다중 할선 방법의 장점을 결합한다.
Abstract
이 논문은 선형 시스템을 해결하기 위해 개발된 일반화된 공액 잔차(GCR) 알고리즘을 비선형 문제로 확장한 새로운 가속 알고리즘 nlTGCR을 제안한다.
주요 내용은 다음과 같다:
nlTGCR은 선형 GCR 알고리즘을 기반으로 하며, 선형 시스템에서와 마찬가지로 잔차 벡터를 최소화하는 방향으로 반복을 수행한다.
선형 모델을 사용하는 "선형화된 업데이트 버전"과 비선형 모델을 사용하는 "비선형 업데이트 버전"을 제안한다. 전자는 뉴턴 방법과 유사하고, 후자는 다중 할선 방법과 유사하다.
비선형 업데이트 버전에서는 Jacobian 행렬의 대칭성을 활용할 수 있어 메모리와 계산 비용을 줄일 수 있다.
적응형 업데이트 기법을 통해 초기에는 비선형 업데이트를, 수렴 단계에서는 선형화된 업데이트를 사용함으로써 전체적인 함수 평가 횟수를 줄일 수 있다.
이론적 분석을 통해 nlTGCR이 뉴턴 방법과 다중 할선 방법의 장점을 결합한 알고리즘임을 보였다.
Stats
비선형 문제에서 선형 모델의 오차는 2차 항으로 표현된다.
비선형 잔차 벡터와 선형화된 잔차 벡터 사이의 각도 코사인 값이 0.01 미만이면 선형화된 업데이트 버전을 사용한다.
Quotes
"이 논문은 선형 공액 잔차 알고리즘을 비선형 문제로 확장한 새로운 가속 알고리즘 nlTGCR을 제안한다."
"nlTGCR은 대칭성을 활용하고 뉴턴 방법과 유사한 수렴 특성을 가지면서도 Anderson 가속과 같은 다중 할선 방법의 장점을 결합한다."