이 연구는 사회 및 행동 과학 분야의 박사 과정 학생 및 박사 후 연구원 17명을 대상으로 문헌 검색 및 평가 관행, 연구 결과의 신뢰성에 대한 우려, 그리고 연구 결과의 재현성 측정을 문헌 검토 과정에 통합하는 방법에 대한 의견을 조사했다.
참여자들은 일반적으로 연구 결과의 재현성이 중요하다고 인식하고 있었지만, 재현성과 일반화 가능성 등 다른 연구 품질 측면을 혼동하는 경향이 있었다. 참여자들은 연구 방법론의 명확성, 연구 자료의 공개 등을 통해 연구 결과의 재현성을 평가했다.
AI 기반 재현성 추정 도구에 대해서는 참여자들의 반응이 엇갈렸다. 일부는 도구의 예측 결과가 자신의 평가와 일치한다고 보았지만, 다른 이들은 도구의 내부 작동 원리를 이해하지 못해 신뢰하기 어려워했다. 참여자들은 도구의 투명성과 설명 가능성이 신뢰 형성에 중요하다고 지적했다.
이 연구는 연구 결과의 재현성 측정을 학술 검색 및 문헌 검토 과정에 통합하는 데 따르는 과제와 기회를 보여준다. 연구 품질에 대한 다양한 측면을 고려하고, AI 기반 도구의 투명성과 설명 가능성을 높이는 것이 중요할 것으로 보인다.
To Another Language
from source content
arxiv.org
Key Insights Distilled From
by Chuhao Wu,Ta... at arxiv.org 05-06-2024
https://arxiv.org/pdf/2311.00653.pdfDeeper Inquiries