多様な劣化に対応可能な汎用的な画像修復フレームワーク「UIR-LoRA」
事前学習済みの生成モデルをベースとし、各劣化タイプに特化したLow-Rank Adaptationを組み合わせることで、多様な劣化に対して高品質な画像修復を実現する。
高品質な画像修復 - 人間の指示に従って
人間の自然言語による指示に従って、様々な劣化を持つ画像を高品質に修復することができる。
低照度と ぼやけた画像の統合的な修復を実現するDAP-LED
CLIPの多様な劣化認識能力を活用し、低照度と ぼやけた画像の統合的な修復を実現する新しいトランスフォーマーベースのフレームワークを提案する。
画像修復における条件付きテクスチャと構造の双方向生成
深層生成モデルアプローチは、構造プライオリを導入することで画像修復の分野で大きな進歩を遂げてきた。しかし、構造再構築の際にテクスチャとの適切な相互作用が欠如しているため、大規模な破損に対応できず、歪んだ結果を生み出すことが多い。本研究では、構造制約付きテクスチャ合成と、テクスチャ誘導型構造再構築を連携させた新しい二流れネットワークを提案する。これにより、両者が互いに有効に活用され、より現実的な生成が可能となる。さらに、グローバルな整合性を高めるため、双方向ゲートフィーチャ融合モジュールと、コンテキスト特徴集約モジュールを導入している。
画像修復のためのStochastic deNOising REgularization
ノイズの適切なレベルの画像にのみデノイザーを適用することで、高品質な画像修復を実現する新しいプラグアンドプレイ(PnP)フレームワークを提案する。
高解像度画像の写実的な修復を実現する大規模モデルスケーリング
大規模な生成モデルを活用し、テキストプロンプトによる制御可能な高品質な画像修復を実現する。
高効率かつスケーラブルな画像修復のための動的事前学習
提案手法DyNetは、重み共有メカニズムを用いて、高効率かつ柔軟な画像修復モデルを実現する。さらに、動的事前学習戦略により、大規模データセットを用いた効率的な事前学習を可能にする。
高速で高品質な画像修復を実現するGAMA-IR
GAMA-IRは、計算コストが低く、メモリ消費も少ない一方で、最先端の画像修復性能を発揮する。その鍵となるのが、グローバルな情報を効率的に捉えるGAMAブロックである。
高速画像修復のための放射状ストリップトランスフォーマー
提案手法RST(Radial Strip Transformer)は、画像の回転と並進の動きを効率的にモデル化し、高品質な画像修復を実現する。
高周波情報を注入したTransformerによる画像修復
提案手法HIT(High-frequency Injected Transformer)は、CNNベースの特徴抽出器を用いて高周波情報を抽出し、Transformerアーキテクチャに注入することで、局所的な詳細情報と大域的な文脈情報の両方を効果的にモデル化し、高品質な画像修復を実現する。
© 2024 by Linnk AI