Core Concepts
AutoEvalフレームワークを効率的かつ効果的に向上させるための新しい指標、Meta-Distribution Energy(MDE)を導入します。
Abstract
この記事は、ICLR 2024で発表された会議論文です。AutoEvalフレームワークにおける新しい指標であるMeta-Distribution Energy(MDE)が提案されています。MDEは、個々のサンプルのエネルギーに基づくメタ分布統計を確立し、過信、高いストレージ要件、および計算コストという課題に対処します。理論的な定理によってサポートされています。さまざまな実験を通じて、MDEの優れたパフォーマンスと汎用性が示されています。
INTRODUCTION
- 機械学習技術の進歩に伴い、モデル評価が重要性を増しています。
- 伝統的な評価方法では実世界のシナリオで失敗する可能性があります。
- AutoEvalはラベルなしデータセットでモデルのパフォーマンスを予測することを目指す。
ABSTRACT
- AutoEvalフレームワークは新しい指標MDEを導入して効率的かつ効果的に改善します。
- MDEは個々のサンプルのエネルギーに基づくメタ分布統計です。
- 理論的根拠が提供されています。
DATA EXTRACTION
- "Avg Energy: -11.99, Avg Acc: 92.66"
- "Avg Energy: -11.59, Avg Acc: 90.94"
- "Avg Energy: -11.07, Avg Acc: 88.31"
- "Avg Energy: -10.32, Avg Acc: 83.64"
- "Avg Energy: -8.50, Avg Acc: 64.01"
Stats
平均エネルギー:-11.99、平均精度:92.66
平均エネルギー:-11.59、平均精度:90.94
平均エネルギー:-11.07、平均精度:88.31
平均エネルギー:-10.32、平均精度:83.64
平均エネルギー:-8.50、平均精度:64.01