基於 LoRA 方法的自適應任務規劃混合專家模型 (AT-MoE)

本文提出了一種名為 AT-MoE 的新型混合專家模型架構，旨在解決傳統 MoE 模型在處理複雜任務時，特別是在需要專業知識和可解釋性的情況下所面臨的挑戰。