本研究では、アニメーション制作におけるペイントバケットカラー化の課題に取り組んでいる。従来のセグメントマッチングに基づくアプローチは、オクルージョンや大きな変形によってセグメント間の対応関係が失われる問題に直面していた。
本研究では、新しい「包含マッチング」の概念を提案する。これは、各フレームのラインアートセグメントがリファレンスフレームのどの領域に含まれるかを推定することで、厳密な対応関係に頼らずにカラー化を行うアプローチである。
具体的には、2段階のパイプラインを採用している。まず、光流推定に基づいて粗いカラー伝播を行い、次に包含マッチングモジュールによって細かいセグメントの色を精密化する。また、ラインアートの特徴とCLIPの言語特徴を組み合わせることで、大きな変形にも頑健な特徴表現を実現している。
さらに、本研究では、アニメーション制作に即したペイントバケットカラー化データセット「PaintBucket-Character」を新たに構築している。これにより、従来のデータセットでは扱えなかった細かいセグメントの正確なカラー化を可能にしている。
実験の結果、提案手法は既存手法と比べて、オクルージョンや大きな変形を伴う場面でも優れた性能を発揮することが示された。
לשפה אחרת
מתוכן המקור
arxiv.org
תובנות מפתח מזוקקות מ:
by Yuekun Dai,S... ב- arxiv.org 03-28-2024
https://arxiv.org/pdf/2403.18342.pdfשאלות מעמיקות