Core Concepts
GeoAI 모델의 재현성과 복제성은 계산적 요인(학습 데이터 크기, 랜덤 시드 설정)과 공간적 요인(위도, 경도)에 의해 크게 영향을 받는다.
Abstract
이 연구는 화성 크레이터 탐지를 위한 GeoAI 모델의 재현성과 복제성을 계산적 및 공간적 관점에서 분석하였다.
첫째, 학습 데이터 크기가 모델 성능의 안정성과 재현성에 미치는 영향을 확인하였다. 실험 결과, 2,000개의 학습 데이터가 최적의 균형을 보였다.
둘째, 랜덤 시드 설정이 모델 결과의 일관성에 미치는 영향을 분석하였다. 고정된 랜덤 시드를 사용한 모델이 랜덤 시드를 사용한 모델보다 더 안정적인 성능을 보였다.
셋째, 격자, 위도, 경도 기반의 공간 분할을 통해 모델의 공간적 복제성을 평가하였다. 위도에 따른 분석에서는 강한 공간 자기상관이 관찰되었지만, 경도에 따른 분석에서는 공간 이질성이 더 큰 역할을 하는 것으로 나타났다.
이 연구는 GeoAI 연구의 재현성과 복제성을 높이기 위해서는 계산적 요인과 공간적 요인을 모두 고려해야 함을 보여준다. 특히 공간 이질성으로 인해 완전한 복제성을 달성하기 어려울 수 있으며, 이를 고려한 "복제성 지도" 생성의 필요성을 제안한다.
Stats
학습 데이터 크기가 2,000개일 때 모델의 최대 정확도(mAP50)는 0.817이었다.
고정된 랜덤 시드를 사용한 모델의 검증 및 테스트 데이터 정확도 평균은 각각 0.817, 0.809였다.
랜덤 시드를 사용한 모델의 검증 및 테스트 데이터 정확도 평균은 각각 0.802, 0.795였다.
위도 기반 분석에서 Moran's I 값은 0.76~0.87로 강한 공간 자기상관을 보였다.
경도 기반 분석에서 Moran's I 값은 0.39와 0.23으로 약한 공간 자기상관을 보였다.
Quotes
"GeoAI 모델의 재현성과 복제성은 계산적 요인(학습 데이터 크기, 랜덤 시드 설정)과 공간적 요인(위도, 경도)에 의해 크게 영향을 받는다."
"공간 이질성으로 인해 완전한 복제성을 달성하기 어려울 수 있으며, 이를 고려한 '복제성 지도' 생성의 필요성을 제안한다."