Core Concepts
Flattening representation-space loss landscapes improves cross-domain few-shot learning by enhancing transferability and fine-tuning.
Abstract
クロスドメインフューショットラーニング(CDFSL)において、異なる正規化方法を用いて表現空間の損失ランドスケープを平坦化することで、知識の転送性と微調整を向上させる手法が提案された。8つのデータセットでの実験結果は、この手法の効果と合理性を裏付けている。
Stats
8つのデータセットで実験結果が示された。
平均精度において最先端の手法を上回った。
個々のデータセットにおいて最大9%まで性能向上が見られた。
Quotes
"Since domain shifts can be reflected by the landscape shift and representation shift, a sharp minimum in the landscape corresponds to a representation vulnerable to domain shifts, making the training and finetuning difficult."
"We propose to flatten the loss landscapes between these two minima, by means of classifying the input sample through the interpolated representations between two minima."
"Our model can directly apply all layers into the finetuning, with a large learning rate at 8 times that in the classifier."