Core Concepts
イベントカメラの高ダイナミックレンジと高時間分解能を活用し、ブラーのかかった低ダイナミックレンジ画像から鮮明な高ダイナミックレンジ画像を自己教師あり学習により生成する。
Abstract
本論文では、リアルタイムの動的シーンにおける高ダイナミックレンジ画像生成(HDRI)の課題に取り組んでいる。従来のHDRI手法は静止画や緩やかな動きのシーンでは良好な結果が得られるが、高速な動きのある動的シーンでは、低ダイナミックレンジ(LDR)と動体ぼかしの複合劣化により性能が大幅に低下する。
提案手法では、イベントカメラの高ダイナミックレンジと高時間分解能を活用し、ブラーのかかったLDR画像からシャープな高ダイナミックレンジ(HDR)画像を生成する。具体的には、以下の2つのアプローチを採用している:
自己教師あり学習: 鮮明なLDR画像を教師データとして用いることで、HDR画像の生成を LDR 画像の生成に置き換え、HDR画像の基準データが得られない動的シーンでも最適化が可能。
統合的なネットワーク: LDRの動的範囲拡張と動体ぼかし補正を同時に行う統合的なネットワークを構築し、イベントの高ダイナミックレンジと高時間分解能を活用して補完する。
これにより、従来手法では困難であった動的シーンでの高品質なHDR画像生成を実現している。
Stats
ブラーのかかったLDR画像は、露光時間の異なる複数のシャープなLDR画像を合成することで生成される。
イベントカメラは高時間分解能(マイクロ秒オーダー)で明るさ変化を記録する。
Quotes
"イベントカメラの高ダイナミックレンジ(>120 dB)により、LDR画像の飽和領域を補償できる。"
"イベントカメラは明るさ変化を微秒単位で記録するため、非線形な動きでも鮮明な画像を再構築できる。"