대규모 언어 모델이 혼란스러워하는 상황 이해하기
대규모 언어 모델(LLM)의 한계와 약점을 이해하고 탐구하기 위한 도구인 PERPLEXED와 CODETOKENIZERS를 소개한다.
LM 잠재 공간의 의미론: 어휘 정의 접근법
LM 잠재 공간의 의미론을 이해하고 분석하는 새로운 방법론을 제안한다. 어휘 기반의 의미 기준을 정의하여 모델 중심의 분석을 가능하게 하고, 이를 통해 성능 향상과 해석 가능성 제고를 도모한다.
합성 데이터로 학습하면 언어 모델이 얼마나 나빠지는가? 통계적 분석
합성 데이터로만 학습하면 언어 모델의 성능이 점점 악화되어 결국 붕괴에 이르지만, 실제 데이터와 합성 데이터를 적절히 혼합하여 학습하면 붕괴를 방지할 수 있다.
문맥과 사전 지식이 언어 모델에 미치는 영향
언어 모델은 사전 지식과 주어진 문맥을 통합하여 질문에 답변하는데, 이 통합 방식은 질문과 문맥에 따라 예측 가능한 패턴을 보인다. 모델은 훈련 데이터에서 더 많이 노출된 개체(사람, 장소 등)에 대해서는 사전 지식에 더 의존하고, 특정 문맥에 의해 더 쉽게 설득될 수 있다.
GPT-NEO 125M 모델의 문단 암기 메커니즘 분석
GPT-NEO 125M 모델은 학습 데이터에서 전체 문단을 암기하고 재현할 수 있으며, 이러한 암기 메커니즘은 모델의 다양한 층과 구성 요소에 걸쳐 있지만 특정 주요 구성 요소에 집중되어 있다.
"신뢰할 수 없는 언어 모델에서 잠재적 지식 추출하기"
신뢰할 수 없는 언어 모델의 활성화 패턴에서 진실을 가리키는 패턴을 찾아내는 Eliciting Latent Knowledge (ELK) 방법론을 소개하고 평가한다.
언어 모델에서 지시 따르기로: 지시 튜닝 후 LLM의 행동 변화 이해
지시 튜닝은 언어 모델이 사용자 의도를 더 잘 따르도록 만든다. 이는 모델이 지시어를 인식하고 이를 활용하여 응답을 생성하는 방식의 변화, 자기 주의 메커니즘의 지시어 관련 학습, 그리고 사용자 지향 작업을 위한 피드포워드 네트워크의 지식 적응을 통해 달성된다.
언어 모델 Mamba의 사실적 연관성 찾기 및 편집
Mamba 언어 모델은 자기회귀 변환기 언어 모델과 유사한 방식으로 사실적 연관성을 내부적으로 표현하고 있다.
시간에 따라 변화하는 사실에 대한 언어 모델의 인식 능력 연구
언어 모델은 시간에 따라 변화하는 사실을 다르게 인코딩하고 처리하며, 이를 활용하여 변화하는 사실을 더 쉽게 업데이트할 수 있다.
대규모 언어 모델의 심리측정학적 예측력
대규모 언어 모델에 대한 지시 튜닝은 인지 모델링 관점에서 인간과 유사하지 않은 결과를 초래한다.
