生涯顔認識のためのスケーラブルでリソース効率の高い継続学習フレームワーク：CLFace
本稿では、大規模な顔認識システムにおける、新しい顔アイデンティティを継続的に学習するという課題に対処するため、スケーラブルかつリソース効率の高い継続学習フレームワーク「CLFace」を提案する。
スパース符号化と予測符号化ネットワークにおけるヘブ可塑性による継続学習：サーベイと展望
生物の脳に触発されたスパース符号化と予測符号化ネットワークは、ヘブ学習とスパイクタイミング依存可塑性を利用することで、エネルギー効率の高い継続学習を実現できる可能性を秘めている。
大規模言語モデルの継続学習のための選択的注意誘導型知識保持：SEEKR
大規模言語モデル（LLM）の継続学習における課題である破滅的忘却問題に対処するため、本稿では、過去のタスクから得られた知識、特に注意重みに着目した効率的な知識保持手法SEEKRを提案する。SEEKRは、忘却率とタスク感度に基づいて重要な注意ヘッドを特定し、それらに対して注意蒸留を行うことで、データ効率の高い継続学習を実現する。
方策の階層型オーケストラ
本論文では、継続的な強化学習における課題である破滅的忘却問題に対処するため、新しいモジュール型アプローチであるHOP (Hierarchical Orchestra of Policies) を提案する。HOPは、タスクのラベル付けを必要とせず、過去の経験を活用しながら新しいタスクに適応することで、継続的な学習を実現する。
継続学習のためのスパース直交パラメータチューニング
事前学習済みモデルのスパースな直交デルタパラメータをマージすることで、複雑な分類器設計なしに、継続学習における破滅的忘却問題を効果的に軽減できる。
事前学習済みモデルを用いた継続学習のための、低速および高速パラメータ効率調整：SAFE
本論文では、事前学習済みモデル (PTM) の汎化能力を継承しつつ、新しい概念に対するモデルの可塑性を維持する、継続学習のための低速および高速パラメータ効率調整 (SAFE) フレームワークを提案する。
事前学習済みモデルを用いた継続学習のためのデュアル低ランク適応
大規模言語モデルの継続学習における課題である破滅的忘却を軽減するために、事前学習済みモデルの各層に直交アダプターと残差アダプターを導入した新しい低ランク適応フレームワーク「DualLoRA」を提案する。
ビジョン言語モデルの継続学習におけるドメイン横断識別能力の向上
本稿では、事前学習済みビジョン言語モデル（VLM）の継続学習において、新たなドメインに適応しながら、未見のドメインに対するゼロショット能力を維持するための新規手法、RAILを提案する。
時間差分変分連続学習
本稿では、複数の過去の事後分布推定を活用することで、逐次近似に起因する累積誤差の問題を軽減する、時間差分変分連続学習（TD-VCL）と呼ばれる新しい変分目的関数ファミリーを提案し、その有効性を示しています。
Vision Transformer における継続的なメモリの学習による継続学習
Vision Transformer を用いたタスク増加型の継続学習において、 catastrophic forgetting を克服するために、マルチヘッド自己注意ブロックの最後の投影層をタスクシナジーメモリとして特定し、Skip、Reuse、Adapt、New の4つの操作を用いてタスクに応じて動的に更新する手法を提案する。
© 2024 by Linnk AI