本研究では、上流の特徴量表現を利用して下流タスクのパフォーマンスを最適化する問題を理論的に分析している。
まず、任意の上流の特徴量表現を用いた下流の予測モデルを定義し、その漸近的なリスク、バイアス、分散を厳密に導出した。その結果、真の特徴量表現を使うと「二重発散」が起こり、必ずしも最適ではないことが分かった。
そこで、下流タスクのアンサンブルのリスクを最小化するように上流の特徴量表現を最適化する手法を提案した。その分析から、タスク関連の特徴量と入力データの構造の両方を学習することが重要であり、それらの寄与がバイアスと分散の観点から特徴づけられることが明らかになった。さらに、最適な特徴量表現には「相転移」現象が存在し、主成分回帰との関係が示された。
Til et annet språk
fra kildeinnhold
arxiv.org
Viktige innsikter hentet fra
by Yufan Li,Sub... klokken arxiv.org 04-22-2024
https://arxiv.org/pdf/2404.12481.pdfDypere Spørsmål