이 논문은 언어 모델의 수치 이해 능력 향상을 위한 Pre-Calc 방법을 제안한다. Pre-Calc는 인코더 전용 모델(BERT, RoBERTa)과 인코더-디코더 모델(Flan-T5)에 대해 각각 다른 방식으로 구현된다.
인코더 전용 모델의 경우, 토큰 수준의 피연산자 식별과 시퀀스 수준의 연산 분류라는 두 가지 목표로 구성된다. 이를 통해 모델이 숫자와 연산을 이해하고 조작할 수 있게 한다.
인코더-디코더 모델의 경우, 수학 문제 풀이 과정을 출력하는 방식으로 구현된다. 수학 문제와 일반 텍스트 추론 과제를 혼합하여 학습함으로써 모델이 수치 계산과 텍스트 이해 능력을 모두 향상시킬 수 있도록 한다.
실험 결과, 두 가지 방식 모두 기존 모델 대비 수치 이해 관련 과제에서 성능이 향상되었다. 특히 인코더-디코더 모델은 계산이 필요한 과제에서 큰 성능 향상을 보였다. 이는 언어 모델의 수치 이해 능력 향상을 위한 효과적인 방법임을 보여준다.
To Another Language
from source content
arxiv.org
Ключові висновки, отримані з
by Vishruth Vee... о arxiv.org 04-23-2024
https://arxiv.org/pdf/2404.14355.pdfГлибші Запити