本研究では、LLMによる生成テキストと人間が書いたテキストを正確に区別し、LLMの作者を特定するためのTOPFORMERモデルを提案している。
まず、LLMの発展により、人間が書いたテキストと見分けがつかない高品質な生成テキストが作られるようになり、これらの「ディープフェイクテキスト」への対策が重要になっている。作者帰属問題は、単に生成テキストと人間テキストを区別するだけでなく、具体的なLLMの作者を特定することが求められる。
提案するTOPFORMERモデルは、Transformer系の言語モデルRoBERTaにトポロジカルデータ解析(TDA)の手法を組み込んだものである。RoBERTaは文脈表現を捉えるのに優れているが、TDAは言語の構造的特徴を捉えることができる。この2つの特徴を組み合わせることで、生成テキストと人間テキストの区別、さらにはLLMの作者特定の精度が向上する。
実験の結果、TOPFORMERは3つの実践的なデータセットで最高の性能を示し、従来手法を7%以上上回る精度を達成した。特に、LLMの生成手法が多様で不均衡なデータセットでの性能が優れていることが分かった。一方で、単一の生成手法しか含まれないデータセットでは、TOPFORMERはRoBERTaと同等の性能に留まった。
以上より、TOPFORMERは現実世界の複雑なLLM生成テキストに対して優れた作者帰属性能を発揮することが示された。今後は、より厳しい条件下での評価や、LLMの悪用検知への応用などが期待される。
На другой язык
из исходного контента
arxiv.org
Дополнительные вопросы