語言模型持續學習的注意力混合LoRA學習

我們提出了一種名為注意力混合LoRA(AM-LoRA)的持續學習方法,可以通過注意力機制自適應地整合從不同任務中學習到的LoRA知識,以有效地解決語言模型在持續學習過程中遭遇的災難性遺忘問題。