核心概念
人間の文脈を言語モデルに組み込むことは、人間中心の自然言語処理の次の課題である。グループ属性や個人特性を用いた2つの事前学習手法があるが、どちらのアプローチがどのタスクに有効かは明らかではない。
要約
この研究では、人間の文脈を3つの形式(グループ属性、個人特性、両方)で言語モデルに組み込んだ場合の、5つのユーザレベルおよびドキュメントレベルのタスクにおける性能を比較している。
グループ属性を用いた事前学習モデルは、ユーザレベルの2つの回帰タスク(年齢推定、パーソナリティ評価)で優れた性能を示した。一方、個人特性を用いた事前学習モデルは、ドキュメントレベルの3つの分類タスク(スタンス検出、トピック検出、年齢属性分類)で優れた性能を示した。
両方の文脈を組み合わせた事前学習モデルは、ユーザレベルの回帰タスクでより良い結果を得た。これは、個人は自身のグループ属性と独自の特性の組み合わせであるという考えに沿っている。
全体として、タスクによって適切な人間の文脈が異なることが示された。人間中心の言語モデリングにおいて、グループ属性と個人特性それぞれの長所を活かすことが重要であることが明らかになった。
統計
年齢推定タスクでは、GRITageモデルが最も高い相関係数(r=0.890)を示した。
パーソナリティ(openness)評価タスクでは、GRITopeモデルが最も高い相関係数(rdis=0.658)を示した。
スタンス検出タスクでは、HaRTモデルが最も高いF1スコア(71.1%)を示した。
トピック検出タスクでは、HaRTモデルが35歳未満(F1=69.8%)と45歳超(F1=65.6%)の両方のグループで最高スコアを示した。
年齢属性分類タスクでは、HaRTモデルが最も高いF1スコア(64.3%)を示した。