본 논문에서는 전통 중의학 분야를 위한 대규모 언어 모델 Qibo를 제안한다. Qibo는 LLaMA 모델을 기반으로 하며, 사전 학습부터 지도 학습 미세 조정까지 전체 파이프라인을 구현하였다.
사전 학습 단계에서는 다양한 중의학 관련 데이터셋을 활용하여 모델에 중의학 이론 체계, 진단 지식, 변증 능력, 처방 인식 능력 등을 학습시켰다. 이를 통해 기존 모델들이 간과했던 중의학 분야의 고유한 특성을 반영할 수 있었다.
지도 학습 미세 조정 단계에서는 단일 대화, 다중 대화, 중의학 NLP 과제 데이터 등을 활용하여 모델의 중의학 대화 능력을 향상시켰다. 이를 통해 모델이 중의학 지식을 효과적으로 활용하여 사용자의 질문에 전문적이고 안전한 답변을 제공할 수 있게 되었다.
실험 결과, Qibo는 전통 중의학 분야에서 우수한 성능을 보였다. 주관적 평가와 객관적 평가 모두에서 다른 중의학 모델들을 능가하는 결과를 보였다. 또한 중의학 NLP 과제에서도 우수한 성과를 달성하였다.
이를 통해 Qibo가 전통 중의학 분야에서 효과적인 대화형 AI 시스템으로 활용될 수 있음을 확인하였다. 향후 연구에서는 모델의 안전성과 신뢰성을 더욱 높이고, 다양한 의료 정보를 통합하여 보다 포괄적이고 정확한 의료 지원 기능을 제공하는 것을 목표로 하고 있다.
In un'altra lingua
dal contenuto originale
arxiv.org
Approfondimenti chiave tratti da
by Heyi Zhang,X... alle arxiv.org 03-26-2024
https://arxiv.org/pdf/2403.16056.pdfDomande più approfondite