本論文では、LoRA系の手法における過剰適合のリスクを抑制するための理論的根拠に基づいた枠組み「LoRA Dropout」を提案している。
まず、LoRA系の手法におけるファインチューニングプロセスを、スパース正則化の最適化問題としてモデル化する。この枠組みの下で、適切なスパース性を導入することで、経験リスクと一般化リスクのバランスを取れることを理論的に示す。
次に、推論時にドロップアウトを適用したアンサンブル手法を提案する。理論的な分析から、このアンサンブル手法により、一般化誤差の上界をさらに引き下げられることを明らかにする。
実験では、様々なNLP課題においてLoRA Dropoutの有効性を実証している。LoRA系の手法にLoRA Dropoutを適用することで、精度とキャリブレーション性能の両方が向上することを示している。さらに、ドロップアウトの適用方法や超パラメータの感度分析も行っている。
Ke Bahasa Lain
dari konten sumber
arxiv.org
Wawasan Utama Disaring Dari
by Yang Lin,Xin... pada arxiv.org 04-16-2024
https://arxiv.org/pdf/2404.09610.pdfPertanyaan yang Lebih Dalam