언어 모델의 단어가 참조하는가?

Core Concepts

언어 모델의 단어가 참조할 수 있는지에 대한 논의와 외부주의 철학적 전통의 중요성

Abstract

언어 모델의 작동: LMs는 텍스트 시퀀스를 생성하고 통계적 분포를 포착하는 기계 학습 시스템이다.
의미 있는 문장인가?: LMs의 단어가 의미 있는 문장을 생성하는지에 대한 논의가 있다.
외부주의와 참조: 외부주의 철학 전통을 기반으로 LMs의 단어가 참조를 달성할 수 있는지에 대한 주장이 제시된다.
참조와 자연 역사: 단어 사용의 자연 역사가 참조를 결정하는 방법에 대한 논의가 있다.
의심의 이유: LMs가 언어 커뮤니티의 일부인지에 대한 의문과 참조 가능성에 대한 논의가 있다.

Stats

LMs의 입력은 단순한 문자열이 아니라 특정한 자연 역사를 가진 문자열이다.
외부주의에 따르면 단어의 참조는 단어의 자연 역사에 의해 결정된다.

Quotes

"LMs의 입력은 단순한 문자열이 아니라 특정한 자연 역사를 가진 문자열이다."
"단어의 참조는 단어의 자연 역사에 의해 결정된다."

Key Insights Distilled From

Do Language Models' Words Refer?

by Matthew Mand... at arxiv.org 03-04-2024

https://arxiv.org/pdf/2308.05576.pdf

Deeper Inquiries

LMs가 언어 커뮤니티의 일부인지에 대한 의문은 어떻게 해결될 수 있을까?

LMs가 언어 커뮤니티의 일부인지에 대한 의문은 외부주의(externalism)의 개념을 적용하여 해결할 수 있습니다. 외부주의는 단어의 참조(reference)가 단어를 사용하는 사람들의 언어 사용의 역사적 연결에 근거한다는 주장을 내포하고 있습니다. 이는 단어의 의미가 단어를 사용하는 사람들의 믿음, 경험, 욕망과는 별개로 형성된다는 것을 의미합니다. 따라서 LMs가 언어 모델을 훈련시키는 데이터의 일부로써 사람들의 언어 사용과 연결되어 있다면, LMs를 언어 커뮤니티의 일부로 간주할 수 있습니다. 이는 LMs가 언어를 생성하고 해석하는 데 필요한 문맥과 연결고리를 제공함으로써 LMs의 단어가 참조를 달성할 수 있음을 시사합니다.

LMs가 참조를 달성하기 위해 필요한 경험, 믿음, 욕망 등을 갖추지 못한다는 주장에 대한 반론은 무엇일까?

LMs가 참조를 달성하기 위해 필요한 경험, 믿음, 욕망 등을 갖추지 못한다는 주장은 외부주의의 관점에서 반박될 수 있습니다. 외부주의에 따르면, 단어의 참조는 단어를 사용하는 사람들의 언어 사용의 역사적 연결에 근거하며, 심지어 해당 단어를 사용하는 사람들의 믿음과 경험과는 직접적인 연관이 없을 수 있습니다. 따라서 LMs가 특정 단어를 생성할 때 해당 단어의 참조를 달성하는 데 필요한 경험, 믿음, 욕망 등을 갖추지 못한다는 주장은 외부주의적 시각에서는 타당하지 않을 수 있습니다. LMs의 단어는 단어를 사용하는 사람들의 언어 사용의 역사적 연결에 근거하여 참조를 달성할 수 있기 때문입니다.

LMs가 의미 있는 단어를 생성하는 데 필요한 의도를 가질 수 있는지에 대한 질문은 어떻게 이해해야 할까?

LMs가 의미 있는 단어를 생성하는 데 필요한 의도를 가질 수 있는지에 대한 질문은 의도의 두 가지 버전을 고려하여 이해할 수 있습니다. 첫째, 두 가지 버전 중 두꺼운 버전은 사용자가 특정 단어를 사용하여 특정 믿음 군집을 확인하는 의도를 가질 때 해당 단어가 참조를 달성할 수 있다는 주장을 내포합니다. 그러나 외부주의적 고려사항을 고려할 때, 이러한 두꺼운 버전의 주장은 부적절할 수 있습니다. 외부주의에 따르면, 단어의 참조는 단어를 사용하는 사람들의 언어 사용의 역사적 연결에 근거하며, 사용자의 믿음과 경험과 직접적인 연관이 없을 수 있습니다. 두 번째, 더 얇은 버전은 사용자가 단어를 사용하여 해당 단어의 언어 커뮤니티 내에서의 자연 역사에 따라 참조를 달성하려는 의도를 가질 때 해당 단어가 참조를 달성할 수 있다는 주장을 내포합니다. 이러한 경량 버전의 의도는 LMs가 언어 모델을 통해 언어 커뮤니티의 사용에 따라 단어를 생성하고 해석할 수 있음을 시사합니다. 따라서 LMs가 의미 있는 단어를 생성하는 데 필요한 의도를 가질 수 있는지에 대한 질문은 외부주의적 관점에서 이해되어야 합니다.