Core Concepts
대규모 언어 모델(LLM)에 대한 접근성과 통제권이 소수의 기업과 국가에 집중되어 있어, 이로 인한 사회적 불평등과 편향의 문제가 대두되고 있다.
Abstract
이 연구는 대규모 언어 모델(LLM)의 학습 및 추론 비용을 분석하고, 이를 기업, 연구 기관, 개인의 재정 자원과 비교하여 LLM에 대한 접근성과 통제권이 어떻게 분포되어 있는지 살펴보았다.
주요 결과는 다음과 같다:
LLM 학습 및 운영 비용은 대부분의 국가와 개인에게 감당하기 어려운 수준이며, 이로 인해 LLM에 대한 접근성이 미국, 캐나다, 일부 유럽 국가 등 경제적으로 강한 국가에 집중되어 있다.
연구 예산 분석 결과, 대부분의 국가들이 GPT-4와 같은 대규모 LLM을 학습하기 위해 전체 연구 예산의 50% 이상을 투자해야 하는 것으로 나타났다.
개인 사용자 관점에서 볼 때, 월 구독료 기준 LLM 서비스를 이용할 수 있는 국가는 전체의 56%에 불과하다.
이러한 결과는 LLM 기술이 소수의 부유한 국가와 기업에 의해 독점되고 있음을 보여준다. 이는 LLM 기술의 편향성과 불평등을 초래할 수 있으며, 이에 대한 대책 마련이 필요하다. 저자는 LLM 학습 및 운영 비용 절감, 국제 협력 증진, 공정한 접근성 보장을 위한 정책 마련 등의 방안을 제안하고 있다.
Stats
미국과 캐나다는 GPT-4 학습에 전체 벤처 투자의 25% 미만을 사용할 수 있다.
58개국은 전체 연구 예산을 투자해도 GPT-4를 학습할 수 없다.
개인 사용자 관점에서 월 소득의 10% 이내로 LLM 서비스를 이용할 수 있는 국가는 전체의 56%에 불과하다.
Quotes
"LLM 학습 및 운영 비용은 대부분의 국가와 개인에게 감당하기 어려운 수준이다."
"LLM 기술이 소수의 부유한 국가와 기업에 의해 독점되고 있다."
"LLM 기술의 편향성과 불평등을 해결하기 위한 대책 마련이 필요하다."