基於經過訓練的查找表的循環內濾波

Keskeiset käsitteet

本文提出了一種基於查找表的高效循環內濾波方案，通過訓練深度神經網絡並將其輸出值緩存到查找表中，在編碼過程中通過查表和插值的方式生成濾波後的像素值。該方法在保持良好性能的同時大幅降低了時間和計算複雜度，為實際應用中的神經網絡編碼工具提供了新的實用方案。

Tiivistelmä

本文提出了一種基於查找表的高效循環內濾波方案(LUT-ILF)。主要包括以下步驟:

1. 訓練濾波網絡: 在有限的參考範圍內訓練一個輕量級的濾波網絡。

2. 緩存網絡到查找表: 通過遍歷所有可能的輸入值,將網絡的輸出值緩存到查找表中。為了降低存儲成本,使用均勻採樣和插值的方式對查找表進行壓縮。

3. 查找表微調: 對壓縮後的查找表進行微調,以適應均勻採樣和插值模型。

4. 查找表檢索: 在編碼過程中,通過查找表和插值的方式生成濾波後的像素值。

為了進一步提高性能,本文還引入了參考索引、漸進索引和可學習加權等機制,以擴大參考範圍、提高查找表利用率。

實驗結果表明,LUT-ILF在保持良好性能的同時,大幅降低了時間和計算複雜度,為實際應用中的神經網絡編碼工具提供了新的實用方案。

Tilastot

在全 Intra (AI) 配置下,LUT-ILF-U、LUT-ILF-V和LUT-ILF-F的BD-rate分別為-0.13%、-0.34%和-0.51%。
在隨機訪問(RA)配置下,LUT-ILF-U、LUT-ILF-V和LUT-ILF-F的BD-rate分別為-0.10%、-0.27%和-0.39%。
LUT-ILF-U、LUT-ILF-V和LUT-ILF-F的計算複雜度分別為0.13 kMACs/pixel、0.40 kMACs/pixel和0.93 kMACs/pixel。
LUT-ILF-U、LUT-ILF-V和LUT-ILF-F的存儲成本分別為164 KB、492 KB和1148 KB。

Lainaukset

"本文提出了一種基於查找表的高效循環內濾波方案,通過訓練深度神經網絡並將其輸出值緩存到查找表中,在編碼過程中通過查表和插值的方式生成濾波後的像素值。"
"該方法在保持良好性能的同時大幅降低了時間和計算複雜度,為實際應用中的神經網絡編碼工具提供了新的實用方案。"

Tärkeimmät oivallukset

In-Loop Filtering via Trained Look-Up Tables

by Zhuoyuan Li,... klo arxiv.org 09-12-2024

https://arxiv.org/pdf/2407.10926.pdf

Syvällisempiä Kysymyksiä

如何進一步提高LUT-ILF的性能,例如擴大參考範圍或優化查找表的結構?

要進一步提高LUT-ILF的性能，可以考慮以下幾個方面：

擴大參考範圍：可以通過引入更多的參考像素來擴大參考範圍。例如，使用更複雜的參考索引模式，像是多層次的參考索引，這樣可以在不顯著增加查找表大小的情況下，捕捉到更豐富的局部結構信息。此外，進一步的旋轉集成技術也可以用來增強參考範圍，從而提高過濾效果。

優化查找表結構：可以考慮使用更高效的數據結構來存儲查找表，例如使用稀疏矩陣或壓縮技術來減少存儲需求。這樣不僅可以降低存儲成本，還能提高查找速度。此外，通過動態調整查找表的大小和內容，根據實際需要進行優化，也能進一步提升性能。

引入自適應機制：在查找表的檢索過程中，可以引入自適應機制，根據當前影像的特徵動態調整查找表的使用策略，這樣可以更有效地利用存儲的數據，從而提高過濾效果。

LUT-ILF是否可以應用於其他編碼工具,如運動估計、參考圖像重採樣等?

是的，LUT-ILF的設計理念可以擴展到其他編碼工具，如運動估計和參考圖像重採樣等。具體來說：

運動估計：在運動估計中，LUT可以用來快速查找運動向量的最佳匹配，通過預先計算的查找表來加速運動補償過程。這樣可以顯著降低計算複雜度，特別是在高解析度視頻編碼中。

參考圖像重採樣：在參考圖像重採樣中，LUT可以用來存儲不同重採樣因子的預計算結果，從而加速重採樣過程。這樣不僅提高了效率，還能保持較高的重採樣質量。

其他編碼工具：LUT的查找和插值特性也可以應用於其他編碼工具，如色彩空間轉換、圖像增強等，通過查找表的方式來加速這些過程，從而提高整體編碼效率。

LUT-ILF的設計思路是否可以應用於其他圖像/視頻處理任務,如超分辨率、去噪等?

LUT-ILF的設計思路確實可以應用於其他圖像和視頻處理任務，如超分辨率和去噪等，具體表現在以下幾個方面：

超分辨率：在超分辨率任務中，可以利用LUT來存儲不同放大倍數下的像素映射關係，通過查找表快速獲取高解析度圖像的像素值，從而提高超分辨率的計算效率和質量。

去噪：在去噪過程中，LUT可以用來存儲不同噪聲水平下的最佳去噪參數，通過查找表快速獲取去噪結果，這樣可以顯著降低計算時間，同時保持去噪效果。

其他圖像處理任務：LUT的查找和插值特性也可以擴展到其他圖像處理任務，如圖像增強、邊緣檢測等，通過查找表的方式來加速這些過程，從而提高整體處理效率。

總之，LUT-ILF的設計思路具有廣泛的應用潛力，可以在多種圖像和視頻處理任務中發揮重要作用。