Lodge: A Coarse to Fine Diffusion Network for Long Dance Generation Guided by Characteristic Dance Primitives

المفاهيم الأساسية

提案されたLodgeは、特徴的なダンス原則によって誘導された長いダンス生成のための粗から細までの拡散ネットワークを示しています。

الملخص

• Lodgeは、音楽によって調整された非常に長いダンスシーケンスを並列で生成する能力を持つネットワークです。
• ダンス生成フレームワークは、2つの動き拡散モデルと中間表現として特徴的なダンス原則を使用して設計されています。
• グローバル拡散段階では、音楽とダンスの関係を理解し、特徴的なダンス原則を生成します。
• ローカル拡散段階では、ガイドラインと振り付け規則に従って詳細な動きシーケンスを並列で生成します。
• フットリファインブロックは、足と地面の接触を最適化し、動きの現実感を向上させます。

الإحصائيات

EDGEは高品質な短いダンスクリップを生成することができるが、全体的な振り付け構造が欠如している。
Bailandoはコードブックに制約があり、ダンスの多様性や一般化能力に影響を与えている。
LodgeはFIDk値が45.56まで低下し、運動品質が改善されました。

اقتباسات

"Provided the entire music, dance designers first analyze the music attributes such as rhythm, genre and emotional tone, and create 'dance phrases', i.e. some short-term expressive movements."
"Dance is normally choreographed in a coarse-to-fine manner."
"Our approach can parallelly generate dance sequences of extremely long length, striking a balance between global choreographic patterns and local motion quality and expressiveness."

الرؤى الأساسية المستخلصة من

Lodge

by Ronghui Li,Y... في arxiv.org 03-18-2024

https://arxiv.org/pdf/2403.10518.pdf

استفسارات أعمق

どうやってLodgeアルゴリズムは他の既存手法よりも優れていますか？

Lodgeアルゴリズムは、特徴的なダンスプリミティブを導入し、それらを中間表現として使用することで、長期的なダンス生成において優れた結果を達成しています。これにより、グローバルな振舞パターンを学習しつつも局所の詳細や物理的リアリティを保持したままダンスシーケンスを生成することが可能です。また、音楽のビートとの整合性や動きの多様性に焦点を当てることで、他の手法よりも高品質で多様性豊かなダンスシーケンスを生み出すことができます。

この技術が将来的にどのように進化する可能性がありますか？

将来的には、Lodgeアルゴリズムはさらなる改良や拡張が行われる可能性があります。例えば、手話や顔の表情など他の要素も取り入れることで全身ダンスだけでなく複数要素から成るパフォーマンス全体を生成する能力が向上するかもしれません。また、AI技術自体も進化していく中で新たなデータセットや学習方法が導入されることで、さらに高度なダイナミックレンジやクオリティー向上へつながる可能性も考えられます。

音楽とダンスの関係性に焦点を当てる代わりに、このアプローチが他の分野へどう応用され得るか考えられますか？

Lodgeアルゴリズムでは音楽からインスピレーショ​​​​​​​​​​​​ョ​​​​​​​ ​​​​​ ​​
ングされた長時間連続したダイナミックレースシーケントラックします。
この種類
トランサポートドバイエキストラメニュウェイトフットコールバッチャージャージャージャージャージャージェジェジェジェジェジ
ュメント（FID）距離測定値およびビート整列得点（BAS）等々。
その結果示唆しました：私たち提案した足精確化ブロック効果的改善動作品質特別足地面接触品質低下確率足滑走現象。
[5] Kang Chen, Zhipeng Tan, Jin Lei, Song-Hai Zhang, Yuan-
Chen Guo, Weidong Zhang, and Shi-Min Hu. Choreomaster:
choreography-oriented music-driven dance synthesis. ACM
Transactions on Graphics (TOG), 40(4):1–13, 2021. 2, 3
[6] Marianela Ciolfi Felice, Sarah Fdili Alaoui, and Wendy E Mackay. How do choreographers craft dance? designing for a choreographer-technology partnership. In Proceedings of the 3rd International Symposium on Movement and Computing,
pages 1–8,
2016.
[7] Xiao Dong,Xunlin Zhan,Yunchao Wei,Xiaoyong Wei,Yaowei Wang,
Minlong Lu,Xiaochun Cao,and Xiaodan Liang.Entity-graph enhanced cross-modal pretraining for instance-level product retrieval.IEEE Transactions on Pattern Analysis and Machine Intelligence,
2023.
[8] Chunming He , Chengyu Fang , Yulun Zhang , Kai Li ,
Longx- iang Tang , Chenyu You,Fengyang Xiao,Zhenhua Guo,and Xiu Li.Reti-diff: Illumination degradation image restora-tion with retinex-based latent diffusion model.arXiv preprint arXiv:2310.01406,
2023.
【11】Chunming He,KaiLi,YachaoZhang,HuangHu,WuWei,QiZhang,HongwenZhang,YingFeng,and QingWang.Humannorm: Learning normal diffusion model for high-qualityand realistic3d human generation.arXivpreprintarXiv:2310.01406,
【12】MartinHeusel，HubertRamsauer，ThomasUnterthiner，BernhardNessler，
andSeppHochreiter.Gans trained by a two time-scale update rule converge to a local nash equilib- rium.Advances in neural information processing systems，
30，
2017.
【13】JonathanHo,AjayJain,andPieterAbbeel.Denoisingdiffusionprobabilisticmodels.Advances in neural information processing systems，
33：
6840–6851，
2020.
【14】JonathanHo，WilliamChan，ChitwanSaharia，JayWhang，
RuiqiGao，
AlexeyGritsenko,DiederikPKingma,BenPoole,MohammadNorouzi,Davide J Fleet et al.Imagen video:
High definition video generation with diffusion models.arXivpreprintarXiv:2210.02303，

【15】SeppHochreiterandJ¨urgenSchmidhuber.Long short-term memory.Neural computation，
9：
1735–
1780，
1997.
【16】【黃若子】【胡凰】【吳偉】【Kei Sawada】
Dance revolution:
Long-term dance generation with music via curriculum learning.arxiv.org/abs/2006 .06119
${Question1}
Answer here
${Question2}
Answer here
${Question3}
Answer here