本研究では、非自己回帰型の Directed Acyclic Transformer (DAT) モデルをT5ベースのDA-T5モデルとして拡張し、制約付きデコーディングアルゴリズムであるControl-DAGを提案している。
Control-DAGは以下の3つの制約を同時に適用する:
具体的には、DA-T5によって生成されたDirected Acyclic Graphを、加重有限状態オートマトン(WFSA)に変換し、上記の制約をWFSAに適用することで、制約を満たす最適な出力を生成する。
実験では、タスク指向対話(SGD)およびデータ to テキスト(DART)の2つのデータセットで評価を行った。Control-DAGは、既存の非自己回帰型デコーディング手法と比べて、BLEU、BLEURT、スロットエラー率、未知語率の指標で大幅な改善を示した。特に、スロットエラー率とOOV率を0%まで抑えることができ、自己回帰型モデルと遜色ない性能を達成しつつ、高速な生成が可能であることを示した。
Başka Bir Dile
kaynak içeriğinden
arxiv.org
Önemli Bilgiler Şuradan Elde Edildi
by Jinghong Che... : arxiv.org 04-11-2024
https://arxiv.org/pdf/2404.06854.pdfDaha Derin Sorular