Core Concepts
複数のタスクを学習する際の暗黙的な正則化バイアスとその影響に焦点を当てた研究。
Abstract
この記事では、マルチタスク学習(MTL)とプリトレーニング+ファインチューニング(PT+FT)に関連する暗黙的な正則化バイアスについて詳細に説明しています。特に、PT+FTが新しい「ネストされた特徴選択」動作を示すことが明らかになりました。これは、事前トレーニングから受け継いだ特徴内でスパース性を促進するものです。実験結果は、理論予測を裏付けるものであり、PT+FTがこの領域で優れたパフォーマンスを発揮することを示しています。
Stats
1024個の補助タスクサンプルを使用して対角線線形ネットワークで訓練されました。
ファインチューニング後の重み再調整係数γは0.001です。
主要なタスク特徴数kmain = 40、補助タスク特徴数kaux = 40。
PT+FTでは、重み再初期化後のグラディエントフロー解決策が主要なタスクデータに適合します。
Quotes
"PT+FTは新しい「ネストされた特徴選択」動作を示す可能性がある。"
"MTLとPT+FTは共通構造を共有しつつも、各々異なる振る舞いを示す。"