VQ-NeRV ist ein fortschrittliches Netzwerk für die Videokompression, das auf impliziten neuronalen Darstellungen basiert. Es integriert einen neuartigen VQ-NeRV-Block, der flache Merkmale und Zwischenbildresiduen effektiv erfasst und diskretisiert.
Der VQ-NeRV-Block verwendet einen Codebook-Mechanismus, um die flachen Merkmale und Zwischenbildresiduen zu diskretisieren. Während des Dekodierens werden die Codebook-Token zusammen mit den kontextadaptiven Einbettungen verwendet, um die Merkmale für das aktuelle Bild zu rekonstruieren. Dieser Ansatz verbessert die Rekonstruktionsqualität und führt zu einer effizienteren Videocompression im Vergleich zu anderen Methoden.
Darüber hinaus führt VQ-NeRV eine Optimierungsstrategie für den flachen Codebook ein, um die Nutzung und Effizienz des Codebooks zu verbessern. Die experimentellen Ergebnisse zeigen, dass VQ-NeRV die Rekonstruktionsqualität, die Bit-pro-Pixel-Effizienz und die Leistung bei der Videoinpainting-Aufgabe im Vergleich zu anderen Methoden verbessert.
To Another Language
from source content
arxiv.org
Key Insights Distilled From
by Yunjie Xu,Xi... at arxiv.org 03-20-2024
https://arxiv.org/pdf/2403.12401.pdfDeeper Inquiries