Core Concepts
HD単語埋め込みを潜在空間に圧縮し、意味を解釈するためのβVAEによる正則化手法の効果的な性能を示す。
Abstract
単語埋め込みは自然言語処理に広く使用されており、高次元ベクトルで表現される。
様々なメトリクスを使用してHD単語埋め込みの品質を評価。
βVAEによる潜在空間正則化は、有用な次元と非推奨次元を明確に区別する。
ユーザーが選択した潜在次元で意味を探索し、その範囲内の単語セマンティクスを視覚的に表現。
Stats
HDベクトルは高次元空間で表現される。
βVAEモデルでは350個の有用な次元と240個の非推奨次元が特定される。