Core Concepts
クラウドソーシングによる教師データ作成では、注釈者依存および事例依存のノイズ遷移行列を推定することが重要だが、データの疎さから困難である。本手法では、注釈者間の類似性を利用した知識転移によって、一般的な注釈者依存および事例依存のノイズ遷移行列を推定する。
Abstract
本研究は、クラウドソーシングによる教師データ作成において、注釈者依存および事例依存のノイズ遷移行列を推定する問題に取り組んでいる。
クラウドソーシングでは、複数の注釈者が少数の事例を注釈するため、注釈者依存および事例依存のノイズ遷移行列を推定するのが困難
既存研究では、注釈者依存または事例依存のみを仮定するなど、モデルが単純化されており、実世界の複雑なノイズパターンを捉えられない
本手法では、深層ニューラルネットワークを用いて一般的な注釈者依存および事例依存のノイズ遷移行列を推定する
注釈者間の類似性を利用した知識転移を行うことで、データの疎さによる推定の困難さを緩和する
近傍の注釈者間での知識転移により、大きく異なるノイズパターンを持つ注釈者同士の干渉を抑制する
理論的な分析により、提案手法の有効性を示す
合成データおよび実世界のクラウドソーシングデータでの実験により、提案手法の優位性を確認
Stats
注釈者数は300人で、3つのグループに分かれており、同じグループの注釈者は同じノイズパターンを持つ
各事例には平均2人の注釈者がランダムに選ばれて注釈を行う