核心概念
Logits MagnitudeとRegularized Standard Deviationの新しいメトリクスを導入し、単純なロジットリターゲティングアプローチ(LORT)を提案して、長尾認識データセットで最先端のパフォーマンスを達成する。
摘要
長尾認識分野では、Decoupled Trainingパラダイムが注目されており、我々はLogits MagnitudeとRegularized Standard Deviationという新しいメトリクスを導入しました。これらのメトリクスを使用して、直接的な最適化目標を設定することで、小さくバランスの取れた絶対的なLogits Magnitudeを実現する単純なロジットリターゲティングアプローチ(LORT)がSOTAのパフォーマンスを達成しました。
統計資料
モデル性能に影響を与える大きさやバランスに関する指標: Logits Magnitudeは異なるクラス間で平均ログ値の差を示す。
モデルパフォーマンス評価に使用される新しいメトリクス: Regularized Standard Deviationはログ値の分布比較に効果的。
引述
"Logits Magnitudeはモデル性能に強い相関性があります。"
"Regularized Standard Deviationは異なる方法やクラス間で一貫した結果を提供します。"