文章提出了一種名為 FIRST（高效可靠蒸餾）的新方法，旨在透過「知識濃縮」和「可靠性最大化」策略，將大型語言模型的知識高效地轉移到較小的模型中，從而解決微調過程中產生的校準問題，並提高模型的可靠性。
提出一種新的白盒知識蒸餾框架 - 雙空間知識蒸餾 (DSKD)，可以克服現有框架的局限性，提高大型語言模型間的知識蒸餾效果。
提出一種質量導引的對比理由蒸餾方法,通過生成正面和負面理由,並利用對比學習將其蒸餾到較小的語言模型中,以提高其推理能力。
