Khái niệm cốt lõi
온라인 데이터 수집이 실험실 데이터와 비교하여 효과 크기, 변동성, 통계적 검정력에 어떤 영향을 미치는지 분석하였다. 온라인 실험이 실행 가능하지만 표본 크기 증가로 인한 비용 증가가 있을 것으로 나타났다.
Tóm tắt
이 연구는 실험실과 온라인에서 수집된 동일한 단어 산출 실험 데이터를 비교하여 다음을 분석하였다:
- 효과 크기 비교:
- 의미적 간섭 효과와 음운적 촉진 효과가 온라인에서 실험실보다 작게 나타났다.
- 베이즈 요인 분석 결과, 의미적 간섭 효과가 온라인에서 더 작은 것으로 나타났다.
- 전반적인 변동성 비교:
- 온라인 데이터가 실험실 데이터보다 더 변동성이 크게 나타났다.
- 참가자 내 변동성 비교:
- 참가자 내 반응 시간의 일관성은 온라인과 실험실에서 유사하게 나타났다.
- 참가자 간 변동성 비교:
- 참가자 간 평균 반응 시간의 변동성은 온라인에서 더 크게 나타났다.
- 참가자 간 효과 크기의 변동성은 온라인과 실험실에서 유사하게 나타났다.
- 통계적 검정력 시뮬레이션:
- 온라인 실험에서는 실험실보다 더 많은 참가자가 필요하여 데이터 전처리 비용이 증가할 것으로 나타났다.
- 항목 수가 적은 경우 온라인에서도 충분한 검정력을 확보하기 어려울 수 있다.
결과적으로 온라인 언어 산출 실험이 실행 가능하지만, 표본 크기 증가로 인한 비용 증가가 있을 것으로 나타났다.
Thống kê
온라인 데이터에서 참가자 간 평균 반응 시간의 표준편차는 실험실 데이터보다 1.67배 더 크게 나타났다.
온라인 데이터의 잔차 표준편차는 실험실 데이터보다 46ms 더 크게 나타났다.