本文提出了一个新的挑战,称为通用能力整合(GCI),它要求在特定领域的大型语言模型中整合通用能力和领域知识。GCI不仅要保留之前获得的通用能力,还要协调和利用这两组技能,以提高在特定任务上的性能。
作者以法律领域为例,设计了三组实际的训练和测试任务,并构建了相应的数据集。为了更好地在特定领域场景中整合通用能力,作者提出了一种名为ALoRA的新型适配器结构,它利用多头注意力模块来促进信息的直接传递。
实验结果表明,GCI与灾难性遗忘有明显区别,ALoRA的有效性也得到验证。
翻譯成其他語言
從原文內容
arxiv.org
深入探究