Baichuan2-Sum 모델은 대화 상호 작용을 학습하고 다양한 역할에 대한 요약을 출력할 수 있도록 지시 기반 미세 조정을 통해 개발되었습니다. 또한 NEFTune 기술을 적용하여 모델 성능을 향상시켰습니다.
대화 요약에서 LLM은 상당한 양의 사실적 오류를 만들어내며, 이는 모델 크기와 관계없이 나타난다. 또한 LLM을 사실적 일관성 평가기로 사용하는 것은 제한적이며, 기존의 전문화된 사실성 평가 지표가 LLM보다 더 나은 성능을 보인다.