核心概念
透過將經濟理論(例如供需原則)整合到語言模型中,可以顯著提高情緒分析在預測特定領域市場趨勢(例如石油市場)方面的準確性和可靠性。
摘要
研究論文摘要
書目資訊
Kaplan, H., Mundani, R.P., Rölke, H., Weichselbraun, A. (2023). CrudeBERT: Applying Economic Theory towards Fine-Tuning Transformer-based Sentiment Analysis Models to the Crude Oil Market. 25th International Conference on Enterprise Information Systems, Prague, Czech Republik.
研究目標
本研究旨在探討如何將經濟理論整合至語言模型中,以提升其在特定領域市場(以原油市場為例)情緒分析的準確性,並評估其預測市場趨勢的能力。
研究方法
研究人員首先透過分析新聞標題,歸納出影響原油市場供需關係的關鍵主題和關鍵字,並據此建立了一個「銀標準」資料集。接著,他們使用該資料集對預先訓練的金融領域語言模型 FinBERT 進行微調,開發出針對原油市場的專屬情緒分析模型 CrudeBERT。最後,他們比較了 CrudeBERT、FinBERT、GPT 3.5 和 RavenPack ESS 在預測原油期貨價格變動方面的表現。
主要發現
研究結果顯示,相較於未經微調的 FinBERT、GPT 3.5 和隨機基準模型,CrudeBERT 在預測原油期貨價格變動方面表現更為出色。此外,CrudeBERT 的預測準確度也與 RavenPack 的商業情緒分析模型相當。
主要結論
將經濟理論整合至語言模型中,可以顯著提高情緒分析在預測特定領域市場趨勢方面的準確性和可靠性。
研究意義
本研究為特定領域情緒分析模型的開發提供了新的思路,並證明了將領域知識融入語言模型的重要性。
研究限制與未來方向
本研究的訓練資料集規模相對較小,且僅關注新聞標題,未來可擴大資料集規模並納入新聞全文進行分析。此外,未來研究可將此方法應用於其他商品市場,以驗證其普適性。
統計資料
CrudeBERT 在銀標準測試資料集上達到了 0.97 的加權宏觀 F1 分數。
相比之下,FinBERT 在銀標準測試資料集上的加權宏觀 F1 分數僅為 0.42。
在預測隔日 WTI 原油期貨價格變動的實驗中,CrudeBERT 的宏觀 F1 分數為 0.53,優於 FinBERT (0.40)、GPT 3.5 (0.46) 和 RavenPack ESS (0.51)。
引述
"Crude oil, a critical component of the global economy, has its prices influenced by various factors such as economic trends, political events, and natural disasters."
"Traditional prediction methods based on historical data have their limits in forecasting, but recent advancements in natural language processing bring new possibilities for event-based analysis."
"This paper introduces CrudeBERT, a fine-tuned LM specifically for the crude oil market."
"The results indicate that CrudeBERT’s sentiment scores align more closely with the WTI Futures curve and significantly enhance price predictions, underscoring the crucial role of integrating economic principles into LMs."