登录
洞察 - 지식 편집
수정 후 모델 성능 저하의 원인 분석 및 성능 향상을 위한 D4S 기법 제안
대규모 언어 모델의 지식 편집 과정에서 발생하는 성능 저하 현상은 편집 대상의 다양성, 토큰 길이, 편집 레이어의 L1-norm 폭증과 관련이 있으며, 이를 해결하기 위해 제안된 D4S 기법은 이전 지식을 효율적으로 유지하고 매개변수 레이어의 폭발적인 증가를 조절하여 모델 손상을 최소화하면서 여러 번의 효과적인 편집을 가능하게 한다.
지식 편집 하에서 멀티홉 사실 회상을 위한 Locate-then-edit: 심층 MLP 레이어 편집의 중요성
기존의 Locate-then-edit 지식 편집 방법은 얕은 MLP 레이어만 수정하여 멀티홉 사실 회상 작업에서 성능이 저하되는데, 본 논문에서는 얕은 레이어와 심층 레이어 모두를 편집하는 IFMET을 제안하여 이 문제를 해결하고 멀티홉 사실 회상 작업의 성능을 향상시킵니다.
체인-오브-쏘트 인컨텍스트 학습을 통한 지식 편집의 파급 효과 증폭: RIPPLECOT
대규모 언어 모델(LLM)의 지식 편집에서 발생하는 파급 효과를 해결하기 위해 체인-오브-쏘트 추론을 통합한 새로운 인컨텍스트 학습(ICL) 편집 접근 방식인 RIPPLECOT을 소개합니다.
자가 유도 분포를 통해 지식을 학습하는 In-Context Editing 기법
대규모 언어 모델(LLM)의 지식을 효율적으로 업데이트하기 위해 일관된 In-Context Editing(ICE)이라는 새로운 접근 방식을 제안합니다. ICE는 기존의 fine-tuning 방법과 달리 one-hot target이 아닌 문맥 분포를 목표로 하여 모델을 최적화합니다. 이를 통해 새로운 지식을 효과적으로 통합하면서도 기존 정보의 무결성을 유지하고 overfitting을 방지합니다.
대형 언어 모델을 위한 개념적 지식 편집
대형 언어 모델을 위한 개념적 지식 편집의 중요성과 효과적인 방법론에 대한 연구
