Core Concepts
合成データ拡張を使用して欠落したデータを見つけるための新しいアプローチを提案する。
Abstract
この論文は、異なるセンシングモダリティの間で発生するフレームレートの不一致によるデータの欠落問題に焦点を当てています。提案された解決策は、合成されたリアルなサーマル画像を作成する生成モデルアプローチです。pix2pixとCycleGANアーキテクチャを比較し、pix2pixが優れていることが実験結果で示されました。多視点入力スタイル、特にスタックビューの利用がサーマル画像生成の精度向上に貢献します。また、モデルの汎化性能が異なる被験者間で評価され、最適なパフォーマンスのために個別化トレーニングの重要性が明らかにされました。
Stats
サーマルイメージングデータは9 fps未満で取得されます。
RGB画像は約30 fpsでキャプチャされます。
17人分の被験者から500枚ずつのサーマル+RGB画像同期グループが作成されました。
フロントビューで訓練した場合、平均テストL1エラーは0.0676です。
四方向ビュー(テッセレート)では平均テストL1エラーが0.0587です。
四方向ビュー(スタック)では平均テストL1エラーが0.0559です。
Quotes
"Many driver states are best inferred from temporal patterns, an ideal data stream would have constant availability of all sources at each instance."
"Generative models can provide synthetic but useful representations to fill in missing data gaps, enabling accurate downstream state estimation models."
"The study evaluates the model’s generalizability across different subjects, revealing the importance of individualized training for optimal performance."