本論文では、局所的および大域的特徴を学習する新しいINR(Implicit Neural Representation)アーキテクチャを提案している。従来のINRは信号を暗黙的に表現できるが、学習後の信号の編集が困難であった。
提案手法では、入力信号を複数の局所的サブネットワークと1つの大域的サブネットワークに分割して学習する。局所的サブネットワークは各パーティションの詳細な特徴を学習し、大域的サブネットワークは全体の文脈情報を学習する。これらの特徴を統合することで、高精度な信号の再構成が可能となる。
さらに、局所的サブネットワークを個別に削除することで、信号の部分的な削除(クロッピング)が容易に行えるようになる。また、新しい局所的サブネットワークを追加することで、既に学習した信号の拡張も可能である。
提案手法は、画像、音声、動画、3Dシェイプの符号化タスクで従来手法を上回る性能を示した。また、大域的サブネットワークの重要度を調整することで、精度とレイテンシのトレードオフを柔軟に制御できることも示された。さらに、最新のINR手法であるINCODEにも適用し、様々な下流タスクでの性能向上を確認した。
In un'altra lingua
dal contenuto originale
arxiv.org
Approfondimenti chiave tratti da
by Maor Ashkena... alle arxiv.org 10-01-2024
https://arxiv.org/pdf/2409.19472.pdfDomande più approfondite