Concetti Chiave
中国語言語モデルのロバスト性を高めるため、変化グラフを活用した新しい手法を提案する。
Sintesi
本研究では、中国語言語モデルのロバスト性を高めるため、「CHinese vAriatioN Graph Enhancement (CHANGE)」と呼ばれる新しい手法を提案している。
CHANGE は以下の2つの主要な要素から構成される:
中国語変化グラフ統合(CVGI)法: 変化グラフを活用して入力文を再構築し、2次元アテンションマスクを生成することで、言語モデルが攻撃された文章を理解できるようにする。
変化グラフ指導事前学習: 変化グラフを活用した追加の事前学習タスクを設計し、言語モデルが攻撃トークンを認識し、攻撃パスを復元する能力を高める。
実験の結果、提案手法CHANGE は、複数の自然言語処理タスクにおいて、既存の言語モデルと比較して高いロバスト性を示すことが確認された。特に、攻撃を受けた入力に対する性能が大幅に向上した。これらの成果は、グラフ情報を活用した言語モデルの強化が、実世界のアプリケーションにおける有用な貢献となることを示唆している。
Statistiche
変化攻撃を受けた入力に対する性能が、従来の言語モデルと比べて1.21%向上した。
攻撃を受けた入力に対する性能が、クリーンなデータに対する性能に近づいた。
Citazioni
"中国語の豊かな文字多様性/変化と複雑な構造により、これらのモデルの脆弱性は重大な懸念を呼び起こしている。"
"提案手法CHANGE は、言語モデルの解釈能力を本質的に強化し、攻撃的に操作された文章に対する理解を深化させる。"