核心概念
대규모 언어 모델(LLM)에서 심리학적으로 동기 부여된 명사 쌍을 사용하여 하이퍼니미 관계를 나타내는 표면 패턴을 분석함으로써 개념적 추상화를 탐지할 수 있다.
摘要
이 연구는 대규모 언어 모델(LLM)에서 개념적 추상화 메커니즘을 탐지하는 새로운 접근 방식을 제시합니다. 심리학적으로 동기 부여된 명사 쌍을 사용하여 하이퍼니미 관계를 나타내는 표면 패턴을 생성하고, BERT의 주의 메커니즘을 분석합니다. 두 가지 대조군 집합과 비교하여 하이퍼니미 관계를 탐지할 수 있음을 보여줍니다. 이는 단순히 명사 쌍의 분포적 유사성과 관련되지 않으며, LLM의 개념적 추상화 메커니즘에 대한 설명성을 향상시키는 첫 번째 단계입니다.
統計資料
긍정 예시와 부정 예시를 구분할 수 있는 정확도는 0.88로 나타났습니다.
긍정 예시와 자매 용어 예시를 구분할 수 있는 정확도는 0.84로 나타났습니다.
부정 예시와 자매 용어 예시를 구분할 수 있는 정확도는 0.85로 나타났습니다.
引述
"우리의 실험 결과는 LLM 내부에 언어적 추상화가 존재한다는 명확한 증거를 제공합니다."
"우리의 접근 방식은 LLM의 개념적 추상화 메커니즘에 대한 투명성을 높이는 데 한 걸음 더 나아갔습니다."