核心概念
事前学習済みモデルから適切なモデルを効率的に選択することで、新しいタスクにおいて優れた性能を発揮できる。
要約
本論文では、事前学習済みモデルから適切なモデルを効率的に選択するための2段階のリコールおよび選択フレームワークを提案している。
第1段階のコース選択フェーズでは、ベンチマークデータセットでの事前学習済みモデルの学習パフォーマンスに基づいて、モデルをクラスタリングする。そして、クラスタの代表モデルに対してプロキシスコアを計算し、有望なモデル候補を絞り込む。
第2段階の詳細選択フェーズでは、絞り込まれたモデル候補に対して、ターゲットデータセットでの微調整を行い、収束傾向に基づいて低パフォーマンスのモデルを早期に除外することで、効率的にベストモデルを選択する。
実験の結果、提案手法は従来手法と比べて、3倍以上の高速化を実現しつつ、同等以上の高性能なモデルを選択できることが示された。
統計
提案手法は従来手法と比べて、3倍以上の高速化を実現できる。
提案手法は従来手法と同等以上の高性能なモデルを選択できる。
引用
"事前学習済みモデルから適切なモデルを効率的に選択することで、新しいタスクにおいて優れた性能を発揮できる。"
"提案手法は従来手法と比べて、3倍以上の高速化を実現しつつ、同等以上の高性能なモデルを選択できる。"