대규모 언어 모델의 잘못된 정보와 지식 부족 문제를 해결하기 위해 맞춤형 전문가 네트워크를 활용한 효율적인 모델 편집 기법을 제안한다.
장문 생성 설정에서 모델 편집의 효과와 영향을 측정하는 새로운 평가 프로토콜을 소개합니다.
재구문화된 접두사 프롬프트를 활용하여 언어 모델의 지식 표현을 효율적으로 편집하고 추론할 수 있는 방법을 제안한다.
ROME 모델 편집 기법을 사용할 때 발생하는 모델 붕괴 문제를 해결하고, 안정적인 순차적 모델 편집을 가능하게 하는 새로운 구현 방법을 제안한다.
순수 미세 조정만으로도 모델 편집에 효과적일 수 있음을 보여준다. 이를 위해 조건부 우도 최적화와 데이터 증강 기법을 활용한다.