지속 학습

insight - 지속 학습

본 논문은 에너지 효율적인 온라인 학습을 가능하게 하는 희소 예측 코딩 네트워크에서 헤비안 가소성을 활용한 지속 학습에 대한 포괄적인 설문 조사를 제공하고, 이 떠오르는 분야의 미래 연구 방향을 제시합니다.

본 논문에서는 생성 재현과 지식 증류 기법을 활용한 공동 확산 모델 기반의 새로운 지속 학습 방법인 JDCL을 제안하며, 이를 통해 기존 생성 재현 방식의 한계를 극복하고 지속적인 학습 과정에서 안정적인 성능을 달성합니다.

본 논문에서는 딥러닝 모델이 지속 학습 과정에서 겪는 망각 문제를 해결하기 위해 모델 자체를 메모리 버퍼로 활용하여 이전 데이터를 재구성하는 새로운 프레임워크인 ReCL(Reconstruction from Continual Learning)을 제안합니다.

본 논문에서는 대규모 비전-언어 모델(LVLM)이 새로운 도메인, 기능 및 데이터셋에 지속적으로 적응하도록 하는 Continual LLaVA라는 새로운 continual instruction tuning 방법론을 제안합니다.

본 논문에서는 사전 훈련된 비전-언어 모델(VLM)을 새로운 도메인에 점진적으로 적응시키면서 기존 지식과 새로운 지식을 모두 유지하는 새로운 지속 학습 방법인 RAIL(Regression-based Analytic Incremental Learning)을 제안합니다.

본 논문에서는 딥 푸리에 특징을 사용하여 딥 러닝 모델의 지속 학습 능력을 향상시키는 방법을 제시합니다. 딥 푸리에 특징은 선형성과 비선형성을 효과적으로 결합하여 지속 학습에서 중요한 요소인 가소성을 유지하면서도 뛰어난 표현 능력을 제공합니다.

VQ-Prompt는 지속 학습에서 작업 지식을 효과적으로 나타내는 이산 프롬프트를 생성하기 위해 연속 프롬프트를 프롬프트 풀에서 가장 가까운 항목으로 대체하여 작업 정확도를 향상시키는 새로운 프롬프트 기반 지속 학습 방법입니다.

본 논문에서는 신경망이 새로운 정보에 빠르게 적응하는 능력인 가소성을 유지하기 위해 초기 매개변수를 향한 L2 정규화를 통합하는 간단한 접근 방식인 L2 Init을 제안합니다.

본 논문에서는 로봇 수술 시각적 질문 답변(VQA) 작업의 성능을 향상하기 위해 다중 모달 대규모 언어 모델(LLM)을 활용한 새로운 다중 교사 지속 학습 프레임워크를 제안합니다.

본 논문에서는 지속 학습에서 핵심 표본만을 선택적으로 학습하는 것이 기존 방법보다 성능 향상을 가져온다는 것을 실험적으로 보여주고, 그 이유를 표현 학습 관점에서 분석합니다.

About

Products

Resources