本論文は、オープンドメイン質問応答(OpenQA)モデルの一般化性向上に取り組んでいる。
OpenQAモデルは、大規模な外部知識コーパスから関連情報を検索し、質問に答えるアプローチを採用している。しかし、現実世界の知識は静的ではなく、継続的に更新・進化するため、OpenQAモデルは常に最新の情報に適応する必要がある。
また、OpenQAモデルが完全に新しい知識ドメインに転移できるかどうかも不明確である。
本研究では、2つの特定のシナリオを調査した:1) 同一知識コーパスの更新版への適応、2) 完全に異なる知識ドメインへの転移。
実験の結果、OpenQAモデルの一般化性の課題は、リーダーモジュールが外部コーパスから取得した知識を過度にメモリ化してしまうことが原因であることが分かった。
そこで本研究では、Corpus-Invariant Tuning (CIT)と呼ばれる新しい学習手法を提案した。CITは、リーダーモジュールがコーパスから取得した知識の尤度を制御することで、過度なメモリ化を抑制し、一般化性を向上させる。
複数のOpenQAベンチマークでの実験の結果、CITを適用したモデルは、コーパスの更新や知識ドメインの変化に対して大幅な一般化性向上を示した。
In un'altra lingua
dal contenuto originale
arxiv.org
Approfondimenti chiave tratti da
by Zixuan Zhang... alle arxiv.org 04-03-2024
https://arxiv.org/pdf/2404.01652.pdfDomande più approfondite