Core Concepts
ELODIは、アンサンブルモデルの特性を単一モデルに蒸留することで、モデルアップデート時の誤分類率の低減と高精度の両立を実現する。
Abstract
本論文では、モデルアップデート時の課題である「負の整合性」(旧モデルが正解だったが新モデルが誤分類する事例)の低減手法ELODIを提案している。
主な内容は以下の通り:
アンサンブルモデルが「負の整合性」を低減する理由を分析し、アンサンブルモデルの特性を単一モデルに蒸留することで同様の効果が得られることを示した。
提案手法ELODIは、アンサンブルモデルの代わりに単一モデルを使うことで推論コストを抑えつつ、高精度かつ負の整合性の低い新モデルを得ることができる。
ImageNetやiNaturalistなどのベンチマークデータセットで実験を行い、ELODIが既存手法に比べて誤分類率と負の整合性を大幅に改善することを示した。
データ量の増加や複数回のモデルアップデートなど、実用的な設定でもELODIの有効性を確認した。
ELODIはアーキテクチャに依存せず、テキストデータでも有効であることを示した。
Stats
新モデルの誤分類率は24.66%、旧モデルに対する負の整合性は4.30%
ELODIを適用すると、新モデルの誤分類率は23.10%、負の整合性は2.11%に改善
Quotes
"Negative flips are errors introduced in a classification system when a legacy model is updated."
"ELODI improves the state of the art in reducing perceived regression in model updates in three ways: (1) Generality, by not targeting distillation to a specific legacy model, yet reducing NFR; (2) Absence of collateral damage, by retaining the accuracy of a new model, or even improving it, while ensuring reduction of NFR; (3) Efficiency, as ELODI does not require evaluating ensembles of models at inference time."