Core Concepts
提案のRFKD手法は、教師モデルの中間特徴マップと論理層からの知識を蒸留し、さらにクリーンデータと雑音データの混合入力を利用することで、学生モデルの精度、一般化性能、および雑音耐性を向上させる。
Abstract
本研究では、クラック分割のための堅牢な知識蒸留フレームワークを開発した。
クラック検出は重要なインフラ維持管理の課題だが、従来の手動検査には課題がある。深層学習を用いた自動検出が注目されている。
従来のCNN系モデルには局所依存性の限界があり、Transformerモデルが精度と一般化性能を向上させた。
しかし、Transformerモデルは大規模で、エッジデバイスへの実装が課題となっている。軽量モデルの開発と知識蒸留による性能向上が求められている。
提案のRFKD手法は以下の特徴を持つ:
教師モデルの中間特徴マップと論理層からの知識を蒸留
クリーンデータと雑音データの混合入力を利用し、堅牢な特徴を学習
これにより、学生モデルの精度、一般化性能、雑音耐性が向上
新しい軽量Transformerモデル「PoolingCrackTiny」を開発し、RFKDによる性能検証を行った。
実験の結果、RFKDは従来手法に比べ最大62%のDice scoreの向上を示し、高い精度と堅牢性を実現した。
提案手法は軽量モデルの実用化に貢献できると期待される。
Stats
クリーンデータと雑音データの混合入力を用いることで、学生モデルの雑音耐性が最大62%向上した。
Quotes
"提案のRFKD手法は、教師モデルの中間特徴マップと論理層からの知識を蒸留し、さらにクリーンデータと雑音データの混合入力を利用することで、学生モデルの精度、一般化性能、および雑音耐性を向上させる。"
"RFKDは従来手法に比べ最大62%のDice scoreの向上を示し、高い精度と堅牢性を実現した。"