LLMで生成した合成データを使ったアクティブラーニングによる、オンラインの政治的議論におけるスタンス検出の改善
LLMで生成した合成データを使うことで、少ない手動ラベル付けデータでもスタンス検出モデルの性能を向上させることができる。また、合成データを使ったアクティブラーニングにより、ラベル付けの労力を大幅に削減しつつ、同等以上の性能を達成できる。
YouTubeの動画タイトルに基づいた政治的傾向の検出のための新しいBERTベースの分類器
YouTubeの動画タイトルのみを使用して、6つの政治的傾向(極左、左、中道、反ウォーク、右、極右)に分類する新しいBERTベースの分類器を提案する。
SQuAD 2.0における言語的特徴を備えたBERTの性能評価
言語的特徴を備えたBERTモデルを開発し、SQuAD 2.0データセットで評価した結果、BERTベースラインモデルに比べて2.17のEMスコアと2.14のF1スコアの向上が見られた。特に、複雑な言語構造の文章に対して、提案モデルが正解を予測できる場合があり、BERTモデルが「答えなし」と誤って予測していた。
大言を信じるな - 大言壮語を避け、信頼できる要約を生成する
大規模言語モデルは文章生成に優れているが、時に虚偽の情報を生成してしまう。本研究では、トークンレベルの虚偽検出手法を提案し、より信頼性の高い要約生成を実現する。
入力シーケンスの交換可能性と潜在変数モデルの観点から注意機構を分析する
入力シーケンスの交換可能性は潜在変数モデルを導き、この潜在変数モデルに基づいて注意機構の表現、推論、学習を理論的に特徴付けることができる。
人間の好みの最適化における長さと品質の分離
人間の好みに基づく言語モデルの最適化では、長さの偏りが問題となる。本研究では、Direct Preference Optimization (DPO)アルゴリズムにおいて、長さの影響を抑える正則化手法を提案し、長さを考慮した上で性能を維持できることを示した。
金融におけるセンチメント分析: 説明可能な辞書(XLex)の構築
金融テキストのセンチメント分析のために、トランスフォーマーモデルとSHAPを活用した説明可能な辞書(XLex)を自動的に構築する。
文書ランキングタスクにおけるMambaのパフォーマンス評価
Mambaモデルは、同規模のトランスフォーマーベースのモデルと比較して、文書ランキングタスクでも競争力のある性能を発揮する。ただし、効率的なトランスフォーマー実装と比べると、トレーニスループットが低い。