大型語言模型是否能學習獨立因果機制?

大型語言模型在分佈外的任務上表現不佳,可能是因為缺乏抽象或符號表示。本文提出一種新的模塊化架構,通過路由策略和互信息最小化來誘導大型語言模型學習獨立因果機制,以提高其在抽象和因果推理任務上的性能和泛化能力。