Concetti Chiave
言語的特徴を備えたBERTモデルを開発し、SQuAD 2.0データセットで評価した結果、BERTベースラインモデルに比べて2.17のEMスコアと2.14のF1スコアの向上が見られた。特に、複雑な言語構造の文章に対して、提案モデルが正解を予測できる場合があり、BERTモデルが「答えなし」と誤って予測していた。
Sintesi
本研究では、SQuAD 2.0質問応答タスクにおいて、BERTモデルに言語的特徴を組み込むことで性能向上を図った。
まず、BERTモデルをバックボーンとして使用し、入力に単語インデックス、セグメンテーション、マスクを与えた。さらに、文脈と質問に対して、固有表現、品詞、係り受け、ストップワードといった言語的特徴を抽出し、BERTの出力と連結して最終的な答え予測を行った。
実験の結果、提案モデルはBERTベースラインに比べて、EMスコアが2.17、F1スコアが2.14向上した。特に、複雑な言語構造の文章に対して、提案モデルが正解を予測できる場合があり、BERTモデルが「答えなし」と誤って予測していた。一方で、答えの有無を正しく判断することが現在の課題として残されている。
今後の課題として、答えの有無の判断精度向上や、より効率的な学習手法の検討が考えられる。
Statistiche
文脈中の複雑な論理構造や言語構造に対して、BERTモデルは「答えなし」と誤って予測することがあった。
提案モデルは、そのような場合に正解を予測できることがあった。
Citazioni
「提案モデルはBERTベースラインに比べて、EMスコアが2.17、F1スコアが2.14向上した。」
「特に、複雑な言語構造の文章に対して、提案モデルが正解を予測できる場合があり、BERTモデルが「答えなし」と誤って予測していた。」