핵심 개념
대규모 언어 모델을 활용하여 초보 동료 상담사에게 상황에 맞는 다단계 피드백을 제공함으로써 상담 기술 향상을 지원한다.
초록
본 연구는 대규모 언어 모델을 활용하여 동료 상담사에게 상황에 맞는 다단계 피드백을 제공하는 방법을 제안한다.
- 상담 분야 전문가들과의 협업을 통해 다단계 피드백 프레임워크를 개발하였다. 이 프레임워크는 상담사의 반응의 적절성, 목표 및 정렬, 개선 영역, 대안적 목표 지향 반응, 긍정적 강화 등 다양한 측면을 포함한다.
- 기존의 공개 데이터셋을 활용하여 400개의 상담 대화에 대한 다단계 피드백 주석을 생성하였다. 이를 위해 전문가와 GPT-4가 협업하는 방식을 사용하였다.
- 개방형 소스 Llama-2 모델을 기반으로 하여, 자체 평가 기능을 활용한 간단하지만 효과적인 자기 개선 방법을 제안하였다. 이를 통해 잠재적으로 해로울 수 있는 피드백 생성을 최소화하였다.
- 정성적 및 정량적 평가를 통해 제안한 방법이 기존 접근법에 비해 최악의 경우 성능을 크게 향상시킴을 입증하였다.
통계
상담사의 반응이 적절하지 않은 경우가 전체의 42.3%였다.
대안적 반응의 평균 길이는 28.3이었고, 목표 및 정렬 설명의 평균 길이는 36.6이었다.
개선이 필요한 영역으로는 공감(1185건), 질문(1431건), 제안(1159건) 등이 많이 지적되었다.
긍정적 강화가 필요한 영역으로는 공감(3313건), 질문(1995건), 타당화(1774건) 등이 많이 지적되었다.