핵심 개념
전문가들이 제기한 질문에 대해 다양한 AI 시스템이 생성한 답변을 전문가가 직접 검증하고 수정하여 신뢰할 수 있는 데이터셋을 구축하였다.
초록
이 연구는 전문가들이 제기한 질문에 대해 다양한 AI 시스템이 생성한 답변을 전문가가 직접 검증하고 수정하는 과정을 통해 신뢰할 수 있는 데이터셋을 구축하였다.
전문가 484명이 32개 분야에서 총 2,177개의 질문을 제기하였다. 이 질문들은 전문가들이 실제 직면한 정보 요구 사항을 반영한다.
6개의 AI 시스템(GPT-4, BingChat, 검색 기반 시스템 등)이 이 질문들에 대한 답변을 생성하였고, 전문가들이 직접 이 답변들을 검증하였다.
전문가들은 각 답변의 유용성, 정보성, 사실성, 출처 신뢰성 등을 평가하고, 필요한 경우 답변을 수정하여 사실적이고 신뢰할 수 있는 답변을 만들어냈다.
이를 통해 EXPERTQA라는 고품질의 질문-답변 데이터셋이 구축되었다. 이 데이터셋은 전문가 검증을 거친 답변과 출처 정보를 포함하고 있어, 향후 AI 시스템의 성능 향상과 평가에 활용될 수 있을 것이다.
통계
무작위 대조 실험에서 냉동요법이 감각 신경병증 증상, 용량 감소 필요성, 중증 말초 신경병증 발생률을 줄일 수 있다는 결과가 나왔다. [2]
9개의 시험에서 2,250명의 환자를 분석한 결과, 공통 용어 기준에 따른 평가에서 냉동요법이 TIPN을 예방할 가능성이 있다는 결론이 도출되었다.
인용구
"결론: 냉동요법은 taxanes를 투여받는 환자에서 TIPN을 예방할 가능성이 있다. 고품질의 충분한 증거가 필요하다."
"결과: 우리는 9개의 시험에서 2,250명의 환자를 분석했다. 공통 용어 기준에 따른 평가에서 ..."