Core Concepts
실시간 고객 불만 관리를 위한 ML 기반 RE-GrievanceAssist 파이프라인을 통해 고객 경험을 향상시키고 수동 작업을 40% 감소시킴.
Abstract
최근 몇 년 간 부동산 플랫폼 기업들은 고객 불만 관리에 많은 어려움을 겪고 있습니다. 이에 저희는 RE-GrievanceAssist라는 엔드-투-엔드 파이프라인을 개발했습니다. 이 파이프라인은 3가지 핵심 구성요소로 이루어져 있습니다:
응답 필요 여부 ML 모델: TF-IDF 벡터화와 XGBoost 분류기를 사용하여 수동 개입이 필요한지 여부를 판단합니다.
사용자 유형 분류기: FastText 분류기를 사용하여 고객의 유형(소유자, 중개인, 개발자 등)을 식별합니다.
문제/하위 문제 분류기: TF-IDF 벡터화와 계층적 XGBoost 분류기를 사용하여 고객 불만의 유형과 하위 유형을 분류합니다.
이 파이프라인을 통해 약 40%의 일일 티켓을 자동으로 처리할 수 있게 되었습니다. 또한 나머지 60%의 티켓에 대해서도 사용자 유형과 문제/하위 문제 분류기의 통찰력을 활용하여 수동 작업을 50% 줄일 수 있었습니다.
이 시스템은 2023년 8월부터 배포되어 운영 중이며, 월 150,000루피의 비용 절감과 40%의 수동 작업 감소 효과를 거두고 있습니다.
Stats
일일 평균 1,000건 이상의 고객 불만 접수
약 35개의 문제 유형과 10개의 하위 문제 유형 존재
테스트 데이터에 대한 모델 성능:
응답 필요 여부 ML 모델: F1-score 86.39%
사용자 유형 분류기: F1-score 90%
문제 분류기: F1-score 72.95%
하위 문제 분류기: F1-score 62.23%
Quotes
"RE-GrievanceAssist 파이프라인을 통해 고객 경험을 향상시키고 수동 작업을 40% 감소시킬 수 있었습니다."
"이 시스템은 2023년 8월부터 배포되어 운영 중이며, 월 150,000루피의 비용 절감과 40%의 수동 작업 감소 효과를 거두고 있습니다."