Główne pojęcia
본 연구는 질문에 대한 답변 생성 시 출처 정보를 정확하게 귀속시키는 CoTAR 방법을 제안한다. 이를 통해 모델의 답변 품질과 출처 정확성을 향상시킬 수 있다.
Streszczenie
본 연구는 질문에 대한 답변 생성 시 출처 정보를 정확하게 귀속시키는 CoTAR(Chain-of-Thought Attribution Reasoning) 방법을 제안한다. 이 방법은 질문에 대한 답변을 생성하는 과정에서 관련 정보를 추출하고 이를 적절한 출처에 귀속시키는 것에 초점을 맞춘다.
제안된 CoTAR 방법은 세 가지 수준의 귀속 방식을 지원한다:
- 구(Span) 수준: 답변에 사용된 구체적인 구문을 출처 문서에서 직접 인용한다.
- 문장 수준: 각 출처 문서에서 질문에 대한 답변을 요약하는 문장을 생성한다.
- 문서 수준: 질문에 관련된 출처 문서들을 명시한다.
실험 결과, CoTAR 방법을 사용하면 답변의 품질과 출처 정확성이 향상되는 것을 확인할 수 있었다. 특히 구 수준과 문장 수준의 귀속 방식에서 두드러진 성능 향상이 관찰되었다. 또한 소규모 모델에 CoTAR 방법을 적용하여 fine-tuning하면 GPT-4 모델을 능가하는 성능을 보이기도 했다.
Statystyki
답변에 사용된 구문이 출처 문서에서 직접 인용되었음을 나타내는 지표(CSCA)가 향상되었다.
답변의 문장 단위 출처 정확성(ALCE F1)이 개선되었다.
답변에 인용된 문서와 기대 답변의 문서 일치도(DOC F1)가 향상되었다.
Cytaty
"본 연구는 질문에 대한 답변 생성 시 출처 정보를 정확하게 귀속시키는 CoTAR 방법을 제안한다."
"실험 결과, CoTAR 방법을 사용하면 답변의 품질과 출처 정확성이 향상되는 것을 확인할 수 있었다."
"소규모 모델에 CoTAR 방법을 적용하여 fine-tuning하면 GPT-4 모델을 능가하는 성능을 보이기도 했다."