Core Concepts
정치 질의응답 세션에서 답변의 질은 초기 질문을 정확하게 추론할 수 있는 정도로 평가할 수 있다.
Abstract
이 논문은 정치 질의응답 세션에서 답변의 질을 평가하는 새로운 접근법을 제시한다. 답변의 질을 초기 질문을 정확하게 추론할 수 있는 정도로 측정하는 것을 제안한다. 이는 답변의 관련성을 반영한다. 대형 언어 모델을 활용하여 이를 실현할 수 있다.
캐나다 하원의 질문 시간 사례를 통해 이 접근법을 설명한다. 답변의 질은 질문을 제기한 의원의 정당 소속에 따라 다르며, 질문의 주제에 따라서도 차이가 있음을 발견했다. 예를 들어, 정부에 불리한 주제에 대해서는 상대적으로 관련성이 낮은 답변이 제공되는 경향이 있다.
Stats
"정부는 이 문제에 대해 솔직하게 답변하지 않고 있다."
"이 답변은 질문과 전혀 관련이 없다."
"이 답변은 질문의 핵심을 회피하고 있다."
Quotes
"정치 질의응답 세션에서 답변의 질을 평가하는 것은 쉽지 않다. 답변의 관련성, 사실 정확성, 논리성 등 다양한 측면을 고려해야 한다."
"정부는 때때로 질문을 회피하거나 엉뚱한 방향으로 답변하는 경향이 있다."
"야당 의원들은 때로는 정부를 곤란하게 만들기 위해 질문을 던지기도 한다."