이 연구는 ESG(환경, 사회, 지배구조) 관련 정보를 효과적으로 분류하기 위해 대규모 언어 모델(LLM)의 성능을 평가하였다. 특히 LLaMA 2 모델을 ESG 도메인에 fine-tuning하여 개발하고, 이를 기존 모델(FinBERT-ESG)과 전통적 기계 학습 기법(SVM, XGBoost)과 비교 분석하였다.
데이터 수집 및 전처리 단계를 거쳐 LLM과 전통적 ML 모델을 각각 학습시켰다. LLM의 경우 QLora 기법을 활용한 fine-tuning을 수행하였고, 전통적 ML 모델로는 SVM과 XGBoost를 사용하였다.
모델 성능 평가 결과, QLora를 활용한 fine-tuned LLM이 기존 모델 대비 평균 F1-score에서 7.37% 향상된 성과를 보였다. 특히 환경, 사회, 지배구조 각 영역에서 모두 우수한 성능을 나타냈다. 하지만 LLM의 높은 계산 비용이 제한점으로 지적되었다.
이 연구는 ESG 텍스트 분류를 위한 최신 LLM 기술의 활용 가능성을 보여주었다. 향후 데이터 확장, 새로운 fine-tuning 기법 적용, 더 발전된 LLM 모델 활용 등을 통해 지속적인 성능 향상이 기대된다.
다른 언어로
소스 콘텐츠 기반
arxiv.org
더 깊은 질문