지속적 학습

Connexion

Idée - 지속적 학습

지속적 학습 모델은 이전 지식을 잊어버리는 경향이 있어 오프라인 모델에 비해 성능이 저하되는 문제가 있다. 이를 해결하기 위해 모델의 신뢰성을 높이는 보정 기법이 필요하다.

지속적 학습에서는 표준 하이퍼파라미터 최적화를 적용할 수 없기 때문에, 지속적 학습에 특화된 새로운 하이퍼파라미터 최적화 프레임워크가 필요하다.

지속적 학습 시나리오에서 과거 지식의 망각 문제를 해결하기 위해 저차원 가중치 교란 기법을 제안하였다. 이를 통해 과거 과제의 지식을 효과적으로 활용하면서도 새로운 과제에 대한 학습 능력을 유지할 수 있다.

베이지안 적응 모멘트 정규화(BAdam)는 기존 정규화 기반 지속적 학습 방법들의 한계를 극복하고, 단일 헤드 클래스 증분 학습 문제에서 최첨단 성능을 달성한다.

긴 꼬리 분포의 다수 과제에 대한 지속적 학습 성능 향상을 위해 이전 과제의 옵티마이저 상태를 활용하는 방법을 제안한다.

C-Flat은 지속적 학습 성능을 향상시키기 위해 손실 함수의 평탄화를 통해 모델의 일반화 능력을 높이는 최적화 기법이다.

지속적 학습 시 새로운 클래스 학습과 이전 지식 보존을 동시에 달성하는 효과적인 접근법

지속적 학습 문제에서 안정성과 가소성의 균형을 달성하기 위해 이전 및 현재 작업의 모델 매개변수를 가중 평균하는 방법을 제안한다.

지속적 학습 환경에서 조기 종료 네트워크는 추론 시간을 단축하고 이전 작업에 대한 망각을 완화할 수 있다.

À propos

Produits

Ressources