Core Concepts
提出了一种新型的大型语言模型NumLLM,能够更好地理解包含数字变量的中国金融文本。
Abstract
本文提出了一种新型的大型语言模型NumLLM,用于中国金融领域。主要包括以下几个步骤:
从金融教材构建了一个金融语料库Fin-Textbooks,以提高LLM在微调过程中对数字能力的理解。
开发了一种新的微调方法,使用两个独立的低秩适应(LoRA)模块来增强NumLLM对包含数字变量的金融文本的理解能力。一个模块用于对基础模型进行领域适应性微调,另一个模块用于增强对数字变量的理解能力。
通过SVD方法将两个LoRA模块混合并合并到基础模型中,得到最终的NumLLM模型。
实验结果表明,NumLLM在金融问答基准测试中的整体表现优于所有基线模型,在涉及数字变量的问题和不涉及数字变量的问题上都取得了最佳成绩。
Stats
2015年3月29日,华夏上证50ETF基金的收盘价为¥2.649,4月份到期、行权价格为¥2.250的上证50ETF认购期权的收盘价为¥0.406,该期权的内在价值或执行价值为¥0.399。
根据企业破产法律制度的规定,破产案件诉讼费用由全体债权人按比例分担。
Quotes
"NumLLM可以提高基础模型的性能,并在所有基线模型中取得最佳整体表现,无论是在涉及数字变量的问题还是不涉及数字变量的问题上。"
"从金融教材构建的Fin-Textbooks语料库对于提高LLM在微调过程中的数字能力很关键。"
"我们提出的数字敏感型选择微调(NumCT)方法可以增强LLM对包含数字变量的金融文本的理解能力。"