本研究では、GPT-DETOX と呼ばれるプロンプトベースのインコンテキスト学習フレームワークを提案している。GPT-3.5 Turboを使用し、ゼロショットプロンプティングと少数ショットプロンプティングの2つのアプローチを検討している。
少数ショットプロンプティングでは、単語マッチング例選択(WMES)とコンテキストマッチング例選択(CMES)の2つの手法を定義している。さらに、ゼロショットプロンプトとすべての少数ショットプロンプトを組み合わせたアンサンブルインコンテキスト学習(EICL)も提案している。
実験の結果、ゼロショットプロンプトは高いスタイル正解率(STA)と流暢性(FL)を示し、少数ショットプロンプトは内容の保持(SIM)を大幅に改善した。EICLは最高のパフォーマンスを示し、両データセットに対して少なくとも10%の改善を達成した。
定性的分析では、ゼロショットプロンプトが元の文章を完全に言い換えるのに対し、少数ショットプロンプトは元の文章の内容をより保持しつつ有害性を低減することが分かった。一方で、一部の例では、モデルが文脈を正しく理解できず、適切な書き換えができないことも明らかになった。
他の言語に翻訳
原文コンテンツから
arxiv.org
深掘り質問