Core Concepts
大規模な感情豊かなデータを効率的に処理し、正確性とコンピューティングリソースの要求のバランスを取ることが重要である。
Abstract
本論文では、文書レベルの感情分析モデルを広範囲に比較評価し、モデルの展開と気候意識の観点から重要なリソースコストに焦点を当てている。実験では、特徴抽出手法、アンサンブルの効果、タスク特化型の深層学習モデル、ドメイン非依存の大規模言語モデル(LLM)を考慮している。
結果として、fine-tuned LLMが最高の正確性を達成するものの、一部の代替構成では正確性の限界的な損失(<1%)で大幅(最大24,283倍)にリソース節約が可能であることが分かった。さらに、小さいデータセットでは正確性の差が縮小する一方で、リソース消費の差がさらに広がることが明らかになった。
Stats
高精度なRoBERTaモデルは、約17時間の実行時間と201.05Whの電力消費、90.554gのCO2排出を必要とする。
DistilBERTモデルは、約9時間の実行時間と45.207gのCO2排出で済む。
Quotes
"大規模な感情豊かなデータを効率的に処理し、正確性とコンピューティングリソースの要求のバランスを取ることが重要である。"
"結果として、fine-tuned LLMが最高の正確性を達成するものの、一部の代替構成では正確性の限界的な損失(<1%)で大幅(最大24,283倍)にリソース節約が可能であることが分かった。"