Conceptos Básicos
DeployモードとEvalモードの間のトレードオフを解決するため、Tuneモードが提案されました。
Resumen
この論文は、Convolution-BatchNorm(ConvBN)ブロックがコンピュータビジョンタスクや他の領域で重要な役割を果たしていることに焦点を当てています。Train、Eval、Deployの3つのモードで動作するConvBNブロックにおいて、安定性と効率性のトレードオフに焦点を当てています。Deployモードは効率的ですが訓練中の不安定性があります。Evalモードは転移学習に適していますが効率性に欠けます。このジレンマを解決するため、新しいTuneモードが提案されました。このTuneモードは、転移学習においてEvalモードと同じくらい安定しており、計算効率もDeployモードとほぼ同等です。さまざまな実験を通じて、提案されたTuneモードがパフォーマンスを保持しながらGPUメモリフットプリントや訓練時間を大幅に削減し、効率的なConvBNブロックを提供していることが示されました。
Estadísticas
Train mode is applicable for both train from scratch and transfer learning.
Deploy mode optimizes computational efficiency.
Eval mode is more computationally efficient than Train mode.
Citas
"Through extensive experiments in object detection, classification, and adversarial example generation across 5 datasets and 12 model architectures, we demonstrate that the proposed Tune mode retains the performance while significantly reducing GPU memory footprint and training time."
"In the context of transfer learning, a majority of detectors (496 out of 634) are trained with ConvBN blocks in Eval mode."
"Our method has been quickly integrated into open-source framework libraries like PyTorch and MMCV/MMEngine because of its evident benefit."