Core Concepts
Deep learning model LUM-ViT enables efficient hyperspectral data acquisition by under-sampling with minimal accuracy loss.
Abstract
新しいアプローチであるLUM-ViTは、深層学習モデルを使用して、光信号取得の前にオプティカルモジュレーションを行い、必要な情報のみを保持することでデータ量を削減します。ImageNet-1k分類タスクでは、10%のサンプリング率で精度損失が1.8%以内に抑えられ、極めて低い2%のサンプリング率でも5.5%以内に収まります。実世界の実験では、ソフトウェア環境と比較して精度損失が4%以内に抑えられました。これは、LUM-ViTが実用的であることを示しています。
Stats
ImageNet-1k分類タスクにおける10%未満のサンプリング率でLUM-ViTは1.8%の精度低下を示す。
実世界テストでは、ソフトウェアベース結果からハードウェア誘発エラーによる4%の性能低下が観察された。
Quotes
"Uniquely, LUM-ViT incorporates a learnable under-sampling mask tailored for pre-acquisition modulation."
"Our evaluations reveal that, by sampling a mere 10% of the original image pixels, LUM-ViT maintains the accuracy loss within 1.8% on the ImageNet classification task."
"LUM-ViT demonstrates practical feasibility in a real-world scenario with DMD involvement, keeping the accuracy loss within 4% for RGB images and within 5% for 7-color images."