Core Concepts
Comcast는 대규모 언어 모델(LLM)을 활용하여 고객 상담사들이 실시간으로 고객 문의에 대한 정확한 답변을 제공할 수 있도록 지원하고 있다.
Abstract
Comcast는 고객 서비스 향상을 위해 다양한 디지털 자동화 기능을 도입했지만, 여전히 인간 대 인간 상호작용이 필요한 상황이 많다. 이에 Comcast는 "Ask Me Anything(AMA)"라는 기능을 개발했다. AMA는 대규모 언어 모델(LLM)을 활용하여 고객 상담사들이 실시간으로 고객 문의에 대한 답변을 제공할 수 있도록 지원한다.
AMA의 주요 구성 요소는 다음과 같다:
문서 전처리: 다양한 형식의 내부 문서를 표준화하고 문서를 작은 단락으로 분할한다.
관련 텍스트 조각 검색: 밀집 및 희소 검색 모델을 실험하여 최적의 성능을 보이는 OpenAI의 ada-002 임베딩 모델을 선택했다.
검색 결과 재순위화: 합성 데이터를 활용하여 모델을 fine-tuning하여 검색 결과의 관련성을 향상시켰다.
답변 생성: 검색된 관련 텍스트 조각을 LLM에 입력하여 답변을 생성하고, 답변에 대한 출처 정보를 제공한다.
AMA 시스템의 오프라인 평가 결과, 재순위화 모델을 사용했을 때 답변 품질, 출처 일치율, 상위 3개 문서 recall이 향상되었다. 실제 배포 결과, AMA 사용 시 상담 처리 시간이 약 10% 단축되었고, 상담사들의 약 80%가 긍정적인 피드백을 제공했다.
Stats
AMA 사용 시 상담 처리 시간이 약 10% 단축되었다.
AMA 사용 시 상담사들의 약 80%가 긍정적인 피드백을 제공했다.
Quotes
"고객 서비스는 기업이 고객과 소통하는 방식이며, 전체적인 고객 만족도에 큰 영향을 미칠 수 있다."
"인간 대 인간 상호작용은 여전히 고객들이 선호하는 방식이며, 특히 분쟁이나 요금 납부와 같은 복잡한 상황에서 더욱 그렇다."