本稿は、プレトレーニングモデルを活用した連続学習の最新の研究動向を包括的に概説している。
まず、連続学習の問題設定と課題について説明する。従来の連続学習手法は、ランダムに初期化された重みから学習を始めるが、近年のプレトレーニングモデルの登場により、新しい可能性が開かれている。
次に、プレトレーニングモデルを活用した連続学習手法を3つのカテゴリに分類して解説する。
各手法の長所短所を分析し、さらに7つのベンチマークデータセットを用いた実験結果を示す。実験では、表現ベースの手法が全体的に優れた性能を示すことが分かった。一方で、プロンプトベースの手法の中にはバッチ情報を不適切に利用しているものがあり、公平な比較には注意が必要であることを指摘する。
最後に、プレトレーニングモデルを用いた連続学習の今後の展望として、大規模言語モデルへの適用、マルチモーダルへの拡張、計算リソース制限下での学習、新しいベンチマークの必要性などを議論する。
To Another Language
from source content
arxiv.org
ข้อมูลเชิงลึกที่สำคัญจาก
by Da-Wei Zhou,... ที่ arxiv.org 04-24-2024
https://arxiv.org/pdf/2401.16386.pdfสอบถามเพิ่มเติม