Core Concepts
금융 분야 특화 일본어 대규모 언어 모델을 지속적 사전 학습을 통해 구축하였으며, 이를 통해 기존 모델 대비 일본 금융 벤치마크 성능이 향상되었다.
Abstract
이 연구는 일본어 금융 특화 대규모 언어 모델(LLM)을 구축하기 위해 지속적 사전 학습 방법을 사용하였다. 먼저 일본어 금융 데이터셋을 구축하였고, 이를 바탕으로 기존 일본어 LLM인 rinna/nekomata-14b 모델을 추가 학습하였다.
벤치마크 평가 결과, 추가 학습된 모델이 기존 모델보다 일본 금융 벤치마크에서 전반적으로 더 나은 성능을 보였다. 또한 출력 비교 결과, 추가 학습된 모델의 출력이 기존 모델에 비해 답변의 품질과 길이 면에서 우수한 것으로 나타났다.
이러한 결과는 도메인 특화 지속적 사전 학습이 LLM에도 효과적임을 보여준다. 추가 학습된 모델은 Hugging Face에 공개되어 있다.
Stats
일본 중앙은행이 2013년 4월에 도입한 "양적·질적 금융완화"는 소비자물가상승률 2% 목표 달성을 위한 강력한 통화 완화 정책이다.
일본 경제는 점진적인 회복 경로에 있으며, 고용 및 소득 환경이 개선되고 있다.
기업 수익이 사상 최고 수준이며, 설비 투자도 증가 추세이다.
개인 소비도 견조하고 주택 투자도 회복되고 있다.
Quotes
"일본 경제는 고용 및 소득 환경이 지속적으로 개선되고 국내 수요가 견조할 것으로 예상되어 점진적으로 확대될 것으로 판단된다."
"다만 해외 경제의 불확실성과 금융시장 변동성에 유의할 필요가 있다."