Core Concepts
SynCellFactoryは、細胞追跡のためのデータ拡張手法であり、制御付きの2Dディフュージョンモデルを使用して高品質の合成細胞ビデオを生成することができる。
Abstract
本論文では、SynCellFactoryと呼ばれる細胞追跡のための生成的データ拡張手法を提案している。SynCellFactoryの中核にあるのは、ControlNetアーキテクチャであり、これは写実的な細胞の外観と動きパターンを合成するように微調整されている。この手法により、実際の顕微鏡タイムラプスと複雑さが同等の合成細胞ビデオを作成することができる。
実験の結果、SynCellFactoryを使用することで、既存の深層学習ベースの細胞追跡モデルの性能を向上させることができることが示された。特に、元のトレーニングデータが少ない場合に効果的であった。SynCellFactoryは、細胞追跡分野における深層学習モデルの適用を促進する可能性を秘めている。
SynCellFactoryは、細胞の外観とダイナミクスを独立して制御することで、多様で写実的な合成細胞ビデオを生成することができる。その主要な構成要素は、2Dの動きモデルと2つの異なる目的を持つControlNetである。動きモデルは、実データから抽出した統計パラメータに基づいて、物理的に整合性のある細胞の動きを生成する。一方、ControlNetは、細胞の位置と動きを写実的に表現することができる。
SynCellFactoryは、わずか1つの注釈付きビデオで学習することができ、一貫したスタイルの大量の注釈付きビデオを生成することができる。これにより、データ不足に悩む細胞追跡分野に大きな影響を与える可能性がある。
Stats
細胞の面積は平均Acで、標準偏差はσAである。
細胞の移動距離は、パラメータαdとΘdのガンマ分布に従う。