Core Concepts
深層非負値行列因子分解における新しいモデルとアルゴリズムの開発。
Abstract
深層非負値行列因子分解(deep NMF)は、異なるスケールで複数の特徴を抽出するための有用な手法として注目されている。
既存のdeep NMFモデルは最小二乗誤差に焦点を当ててきたが、βダイバージェンスがより適切であることが広く認識されている。
新しいモデルとアルゴリズムは、Kullback-Leiblerダイバージェンスに焦点を当てたdeep NMFに適用され、顔の特徴抽出やトピックモデリングなどに応用される。
ディープNMFは様々な領域で応用され、推奨システムやトピックモデリングなどに使用されている。
深層非負値行列因子分解(Deep NMF)
Deep NMFは入力データ行列Xを近似することを目指す。
WℓとHℓはℓ番目のレイヤー行列因子化の要素であり、L層の分解を提供する。
βダイバージェンスへの焦点
βダイバージェンスは最小二乗測定に対応し、Kullback-Leibler(KL)ダイバージェンスに対応する。
新しいdeep NMFモデルではβダイバージェンスを使用しており、顔の特徴抽出やトピックモデリングなどに適用される。
アルゴリズム更新方法
Hℓファクターへの更新方法は通常のβ-NMFアップデート手法を使用する。
Wℓファクターへの更新方法では各Wℓごとにメジャライザーを構築し、Wl 7→ DKL(Y, WH) の最小化問題を解決する。
Stats
λℓDβ(X, WH) + λℓ+1Dβ(W, ¯W)
X = W∗H∗ be a rank-r NMF of X