本論文は、マルチタスク学習モデルの効率的な学習手法「MTLoRA」を提案している。
まず、マルチタスク学習モデルの一般的な構造を説明する。モデルは、共有エンコーダと各タスク固有のデコーダから成る。共有エンコーダは、入力データから特徴表現を抽出し、各デコーダがそれぞれのタスクに適応した出力を生成する。
次に、MTLoRAの手法について説明する。MTLoRAは、タスク非依存の低ランク適応モジュール(TA-LoRA)とタスク依存の低ランク適応モジュール(TS-LoRA)を導入する。TA-LoRAは、共有エンコーダ内の主要な演算層(注意機構、プロジェクション、MLP)に適用され、タスク間の共通特徴の学習を促進する。一方、TS-LoRAは、各タスクの特徴学習を担う。これにより、MTLoRAは共有特徴と個別特徴のバランスを取りながら、効率的な学習を実現する。
さらに、マルチスケールの特徴融合手法を提案する。共有エンコーダの各ステージで生成される特徴マップを、タスク固有の融合モジュールで統合することで、タスク特化の特徴表現を得る。
最後に、パッチ埋め込み層やレイヤーノーマライゼーションなどの非注意機構モジュールの学習の影響を分析する。これらの結果から、MTLoRAが既存の効率的学習手法と比べて高精度かつ効率的であることを示す。
A otro idioma
del contenido fuente
arxiv.org
Ideas clave extraídas de
by Ahmed Agiza,... a las arxiv.org 04-01-2024
https://arxiv.org/pdf/2403.20320.pdfConsultas más profundas