toplogo
登入

基於經過訓練的查找表的循環內濾波


核心概念
本文提出了一種基於查找表的高效循環內濾波方案,通過訓練深度神經網絡並將其輸出值緩存到查找表中,在編碼過程中通過查表和插值的方式生成濾波後的像素值。該方法在保持良好性能的同時大幅降低了時間和計算複雜度,為實際應用中的神經網絡編碼工具提供了新的實用方案。
摘要

本文提出了一種基於查找表的高效循環內濾波方案(LUT-ILF)。主要包括以下步驟:

  1. 訓練濾波網絡: 在有限的參考範圍內訓練一個輕量級的濾波網絡。

  2. 緩存網絡到查找表: 通過遍歷所有可能的輸入值,將網絡的輸出值緩存到查找表中。為了降低存儲成本,使用均勻採樣和插值的方式對查找表進行壓縮。

  3. 查找表微調: 對壓縮後的查找表進行微調,以適應均勻採樣和插值模型。

  4. 查找表檢索: 在編碼過程中,通過查找表和插值的方式生成濾波後的像素值。

為了進一步提高性能,本文還引入了參考索引、漸進索引和可學習加權等機制,以擴大參考範圍、提高查找表利用率。

實驗結果表明,LUT-ILF在保持良好性能的同時,大幅降低了時間和計算複雜度,為實際應用中的神經網絡編碼工具提供了新的實用方案。

edit_icon

客製化摘要

edit_icon

使用 AI 重寫

edit_icon

產生引用格式

translate_icon

翻譯原文

visual_icon

產生心智圖

visit_icon

前往原文

統計資料
在全 Intra (AI) 配置下,LUT-ILF-U、LUT-ILF-V和LUT-ILF-F的BD-rate分別為-0.13%、-0.34%和-0.51%。 在隨機訪問(RA)配置下,LUT-ILF-U、LUT-ILF-V和LUT-ILF-F的BD-rate分別為-0.10%、-0.27%和-0.39%。 LUT-ILF-U、LUT-ILF-V和LUT-ILF-F的計算複雜度分別為0.13 kMACs/pixel、0.40 kMACs/pixel和0.93 kMACs/pixel。 LUT-ILF-U、LUT-ILF-V和LUT-ILF-F的存儲成本分別為164 KB、492 KB和1148 KB。
引述
"本文提出了一種基於查找表的高效循環內濾波方案,通過訓練深度神經網絡並將其輸出值緩存到查找表中,在編碼過程中通過查表和插值的方式生成濾波後的像素值。" "該方法在保持良好性能的同時大幅降低了時間和計算複雜度,為實際應用中的神經網絡編碼工具提供了新的實用方案。"

從以下內容提煉的關鍵洞見

by Zhuoyuan Li,... arxiv.org 09-12-2024

https://arxiv.org/pdf/2407.10926.pdf
In-Loop Filtering via Trained Look-Up Tables

深入探究

如何進一步提高LUT-ILF的性能,例如擴大參考範圍或優化查找表的結構?

要進一步提高LUT-ILF的性能,可以考慮以下幾個方面: 擴大參考範圍:可以通過引入更多的參考像素來擴大參考範圍。例如,使用更複雜的參考索引模式,像是多層次的參考索引,這樣可以在不顯著增加查找表大小的情況下,捕捉到更豐富的局部結構信息。此外,進一步的旋轉集成技術也可以用來增強參考範圍,從而提高過濾效果。 優化查找表結構:可以考慮使用更高效的數據結構來存儲查找表,例如使用稀疏矩陣或壓縮技術來減少存儲需求。這樣不僅可以降低存儲成本,還能提高查找速度。此外,通過動態調整查找表的大小和內容,根據實際需要進行優化,也能進一步提升性能。 引入自適應機制:在查找表的檢索過程中,可以引入自適應機制,根據當前影像的特徵動態調整查找表的使用策略,這樣可以更有效地利用存儲的數據,從而提高過濾效果。

LUT-ILF是否可以應用於其他編碼工具,如運動估計、參考圖像重採樣等?

是的,LUT-ILF的設計理念可以擴展到其他編碼工具,如運動估計和參考圖像重採樣等。具體來說: 運動估計:在運動估計中,LUT可以用來快速查找運動向量的最佳匹配,通過預先計算的查找表來加速運動補償過程。這樣可以顯著降低計算複雜度,特別是在高解析度視頻編碼中。 參考圖像重採樣:在參考圖像重採樣中,LUT可以用來存儲不同重採樣因子的預計算結果,從而加速重採樣過程。這樣不僅提高了效率,還能保持較高的重採樣質量。 其他編碼工具:LUT的查找和插值特性也可以應用於其他編碼工具,如色彩空間轉換、圖像增強等,通過查找表的方式來加速這些過程,從而提高整體編碼效率。

LUT-ILF的設計思路是否可以應用於其他圖像/視頻處理任務,如超分辨率、去噪等?

LUT-ILF的設計思路確實可以應用於其他圖像和視頻處理任務,如超分辨率和去噪等,具體表現在以下幾個方面: 超分辨率:在超分辨率任務中,可以利用LUT來存儲不同放大倍數下的像素映射關係,通過查找表快速獲取高解析度圖像的像素值,從而提高超分辨率的計算效率和質量。 去噪:在去噪過程中,LUT可以用來存儲不同噪聲水平下的最佳去噪參數,通過查找表快速獲取去噪結果,這樣可以顯著降低計算時間,同時保持去噪效果。 其他圖像處理任務:LUT的查找和插值特性也可以擴展到其他圖像處理任務,如圖像增強、邊緣檢測等,通過查找表的方式來加速這些過程,從而提高整體處理效率。 總之,LUT-ILF的設計思路具有廣泛的應用潛力,可以在多種圖像和視頻處理任務中發揮重要作用。
0
star