PLANNER: Generating Diversified Paragraphs with Latent Language Diffusion Model

Core Concepts

PLANNER combines latent semantic diffusion with autoregressive generation to create fluent text with global control over paragraphs.

Abstract

Autoregressive models can lead to repetitive and low-quality output due to exposure bias. PLANNER proposes a model that combines latent semantic diffusion with autoregressive generation for better text generation. The model uses a planning module for semantic paragraph embeddings and a decoding module for generating text. PLANNER is evaluated on various conditional generation tasks, showing effectiveness in generating high-quality long-form text efficiently.

Stats

Autoregressive models trained with teacher forcing strategy are considered the gold standard for text generation. Diffusion models provide an alternative solution by revisiting and revising output iteratively.

Quotes

"The model achieves this by combining an autoregressive “decoding” module with a “planning” module that uses latent diffusion to generate semantic paragraph embeddings in a coarse-to-fine manner."

Key Insights Distilled From

PLANNER

by Yizhe Zhang,... at arxiv.org 03-26-2024

https://arxiv.org/pdf/2306.02531.pdf

Deeper Inquiries

なぜ最尤推定デコーディングを使用すると、生成中に繰り返しが発生するのですか？

最尤推定デコーディングは、テキスト生成中に繰り返しを引き起こす主な要因は、「露出バイアス」から来ています。訓練フェーズでは、モデルは次のトークンを予測するだけに焦点を当てますが、推論フェーズではこの方法が単純化されたものであるため、「分布シフト」として知られる問題が発生します。これにより、モデルは訓練時と異なる振る舞いを示し、望ましくない結果や予測精度の低下が生じます。