Core Concepts
教師なしの制約付きテキスト生成では、効果的な探索方法が重要である。本研究では、擾乱マスキングを用いて編集位置を効果的に選択し、複数の評価関数を用いて編集アクションを選択する手法を提案する。
Abstract
本研究は、教師なしの制約付きテキスト生成に取り組んでいる。従来の手法では、制約を満たすテキストを生成するのが困難であったり、大量の教師データを必要としていた。
提案手法PMCTGは以下の特徴を持つ:
擾乱マスキングを用いて、最も不適切な単語の位置を効果的に特定する。
複数の評価関数を設計し、編集アクションを適切に選択する。
教師データを必要とせず、事前学習済みのBERTモデルのみを利用する。
実験では、キーワード付きセンテンス生成とパラフレーズ生成の2つのタスクで、提案手法が既存手法を上回る性能を示した。特に、探索の効率化により、より少ない探索ステップで良質な出力を生成できることが確認された。
Stats
生成されたセンテンスの平均負対数尤度は6.92、人間評価の平均スコアは0.66である。
生成されたパラフレーズのiBLEUスコアは15.22、人間評価の平均関連性スコアは0.76、平均流暢性スコアは0.81である。
Quotes
"教師なしの制約付きテキスト生成では、効果的な探索方法が重要である。"
"提案手法PMCTGは、擾乱マスキングを用いて編集位置を効果的に特定し、複数の評価関数を設計して編集アクションを適切に選択する。"
"提案手法は教師データを必要とせず、事前学習済みのBERTモデルのみを利用する。"