核心概念
大規模言語モデルを使用して、ドイツの議会討論におけるスピーカーの帰属を自動化する可能性を研究しました。
摘要
政治テキストの増加は、政治的ダイナミクスやイデオロギーに関する豊富な洞察を提供する一方で、手動分析の作業量を増加させます。自動スピーカー帰属は、スピーチイベントで誰が何を言ったかを検出し、意味役割ラベリングと密接に関連しています。我々は、2017年から2021年までのドイツ議会討論における大規模言語モデルファミリーLlama 2の潜在能力を研究しました。QLoRAという効率的なトレーニング戦略でLlama 2を微調整し、GermEval 2023 Shared Task On Speaker Attribution in German News Articles and Parliamentary Debatesで競争力あるパフォーマンスを達成したことが示されています。我々の結果は、大規模言語モデルが自動的なスピーカー帰属を自動化する能力に光を当て、政治的対話や意味役割ラベリングシステムの計算解析への有望な道筋を明らかにしています。
統計資料
Llama 2 70Bという最大サイズのモデルで約70億個のパラメーターが使用されました。
ファインチューニングではQLoRA(Quantized Low-Rank Adaptation)が使用されました。
訓練時間は約7時間から17時間かかりました。
引述
"Language is central to the study of politics, as it forms the basis for political speech and debates."
"Our results shed light on the capabilities of large language models in automating speaker attribution."
"These results highlight the feasibility of automated speaker attribution by fine-tuning models on prompt templates that task them with identifying cues and roles."