將預訓練的語音和語言模型聯合微調和轉換為線性複雜度

本文提出了一種名為跨架構分層蒸餾 (CALD) 的方法，可以將預訓練的 Transformer 模型轉換為線性複雜度模型，並在目標任務上進行微調，同時最大程度地保留原始模型的推理能力。