대형 서지 데이터베이스의 지속가능발전목표(SDG) 분류에 내재된 편향성 탐구

Core Concepts

대형 서지 데이터베이스의 SDG 분류는 편향적이며, 이는 과학적 성과와 영향력 측정에 중요한 영향을 미친다.

Abstract

이 연구는 대형 서지 데이터베이스(Web of Science, OpenAlex, Scopus)의 SDG 분류에 내재된 편향성을 탐구한다. 연구진은 공통 데이터셋을 구축하고 대형 언어 모델(DistilGPT-2)을 활용하여 각 데이터베이스의 SDG 분류 결과를 비교 분석하였다. 연구 결과, SDG 4, 5, 8, 9, 10에 대한 데이터베이스 간 분류 중복도가 매우 낮은 것으로 나타났다. 이는 데이터베이스마다 SDG 분류에 대한 해석이 크게 다르다는 것을 보여준다. 또한 언어 모델의 반응이 모델 구조, 미세 조정 과정, 디코딩 전략 등에 매우 민감한 것으로 나타났다. 이는 겉으로 보이는 객관성에도 불구하고 SDG 분류 실무에 내재된 임의성을 보여준다. 이 연구는 대형 서지 데이터베이스의 SDG 분류가 편향적이며, 이것이 과학적 성과와 영향력 측정에 중요한 영향을 미칠 수 있음을 보여준다. 또한 언어 모델 활용에 대한 윤리적 우려를 제기한다.

Stats

SDG 4, 5, 8, 9, 10에 대한 Web of Science, OpenAlex, Scopus의 분류 중복도는 1.3%~7.2% 수준에 불과하다. SDG 4의 경우 73% 이상의 논문이 단일 데이터베이스에서만 분류되었고, SDG 10의 경우 90%에 달한다.

Quotes

"대형 서지 데이터베이스의 SDG 분류는 편향적이며, 이는 과학적 성과와 영향력 측정에 중요한 영향을 미친다." "언어 모델의 반응이 모델 구조, 미세 조정 과정, 디코딩 전략 등에 매우 민감하다는 것은 겉으로 보이는 객관성에도 불구하고 SDG 분류 실무에 내재된 임의성을 보여준다."

Key Insights Distilled From

On the performativity of SDG classifications in large bibliometric databases

by Matteo Ottav... at arxiv.org 05-07-2024

https://arxiv.org/pdf/2405.03007.pdf

Deeper Inquiries

SDG 분류의 편향성이 정책 결정에 미치는 영향은 무엇일까?

SDG 분류의 편향성은 정책 결정에 상당한 영향을 미칠 수 있습니다. Bibliometric 데이터베이스에서의 SDG 분류는 과학적 연구의 사회적 중요성을 평가하는 데 중요한 역할을 합니다. 그러나 이러한 분류는 각각의 데이터베이스가 가지는 특정 시각에 따라 다양한 관점을 제시하며, 이는 정책 결정에 영향을 미칠 수 있습니다. 예를 들어, 특정 SDG에 대한 다양한 분류는 특정 주제나 지역에 대한 연구의 중요성을 과장하거나 강조할 수 있습니다. 이는 정책 결정자들이 특정 분야에 자원을 집중할지 여부를 결정할 때 잘못된 정보를 제공할 수 있습니다. 따라서 SDG 분류의 편향성은 정책 결정의 근본적인 기반을 형성할 수 있으며, 이는 사회적 변화와 지속 가능한 발전을 위해 중요한 고려 사항입니다.

SDG 분류의 편향성을 최소화하기 위한 대안적인 접근법은 무엇이 있을까?

SDG 분류의 편향성을 최소화하기 위한 대안적인 접근법으로는 다양한 데이터 소스를 활용하고 다양한 분류 모델을 적용하는 것이 중요합니다. 예를 들어, 다양한 데이터베이스에서의 SDG 분류를 비교하고 상호 보완적인 측면을 고려하여 종합적인 분석을 수행할 수 있습니다. 또한, 다양한 분류 모델을 적용하여 특정 주제나 지역에 대한 편향성을 최소화하고 공정한 분류를 실현할 수 있습니다. 더불어, 투명하고 객관적인 분류 기준을 수립하고 이를 토대로 데이터베이스를 운영하는 것도 중요합니다. 이를 통해 SDG 분류의 편향성을 최소화하고 정확한 정보를 제공할 수 있습니다.

SDG 분류 편향성 문제가 과학계와 사회 전반에 미치는 더 깊은 함의는 무엇일까?

SDG 분류의 편향성 문제는 과학계와 사회 전반에 더 깊은 함의를 미칠 수 있습니다. 이러한 편향성은 과학적 연구의 가치 및 영향을 측정하는 데 중요한 역할을 하는데, 이는 정책 결정 및 사회적 변화에 영향을 미칠 수 있습니다. 또한, 이러한 편향성은 연구자들과 기관들이 자신들의 연구가 지속 가능한 발전 목표에 얼마나 기여하는지를 실증적으로 입증하는 데 영향을 미칠 수 있습니다. 따라서 SDG 분류의 편향성 문제는 과학계와 사회의 미래 방향성 및 발전 방향을 결정하는 데 중요한 영향을 미칠 수 있으며, 이에 대한 심층적인 이해와 대응이 필요합니다.