本研究では、大規模言語モデルにおける接頭辞・接尾辞による否定表現の処理について分析を行った。
まず、現在の主要な分かち書きアルゴリズムでは、否定を表す接頭辞・接尾辞を正しく保持できていないことを示した。多くのモデルで、否定辞が単語の一部に含まれてしまうか、過剰に分割されてしまう問題がある。
しかし、この分かち書きの精度と、モデルの否定表現の理解能力には強い相関がないことがわかった。大規模言語モデルは、接頭辞・接尾辞による否定表現の意味を概ね正しく捉えられている。
さらに、感情分析タスクでも、接頭辞・接尾辞による否定表現は大きな影響を与えていないことが確認された。ただし、モデルは否定表現を過度に否定的な意味合いとして捉える傾向がある。
以上より、現在の大規模言語モデルは接頭辞・接尾辞による否定表現の意味理解には課題があるものの、実用上の影響は小さいと言える。一方で、より言語学的に妥当な分かち書きアルゴリズムの開発は、モデルの解釈性向上などの観点から重要であると考えられる。
To Another Language
from source content
arxiv.org
Key Insights Distilled From
by Thinh Hung T... at arxiv.org 04-04-2024
https://arxiv.org/pdf/2404.02421.pdfDeeper Inquiries