Core Concepts
언어 모델의 크기가 증가함에 따라 지리적 지식이 어떻게 변화하는지 관찰하고, 훈련 데이터에 내재된 지리적 편향을 완화할 수 없음을 보여줌.
Abstract
언어 모델은 지리적 정보를 잘 표현하며, 모델의 크기가 증가할수록 지리적 지식이 일관되게 확장됨.
지리적 편향은 훈련 데이터에 내재되어 있으며, 큰 모델이 이를 완화할 수 없음.
지리적 표현을 추출하는 지리적 프로브의 성능은 모델의 크기와 관련이 있음.
지리적 표현의 성능은 해당 국가 이름의 빈도와 관련이 있음.
Stats
언어 모델은 지리적 정보를 잘 표현함.
지리적 표현의 성능은 모델의 크기와 관련이 있음.
Quotes
"언어 모델의 크기가 증가함에 따라 지리적 지식이 일관되게 확장됨."
"지리적 표현의 성능은 해당 국가 이름의 빈도와 관련이 있음."