登录
洞察 - 모델 편집
Llama-3 모델 편집에 대한 실증적 연구: 편집 배치 크기가 항상 더 나은가?
편집 배치 크기를 늘리는 것이 항상 더 나은 성능을 보이지는 않으며, 순차적 편집이 모델 편집 확장에 중요한 요소임을 보여준다.
단일 모델 편집을 위한 통합 프레임워크
ROME과 MEMIT이라는 두 가지 주요 모델 편집 기술을 하나의 개념적 프레임워크 아래 통합하여 설명하고, 이를 바탕으로 새로운 배치 편집 알고리즘 EMMET을 제안한다.
단일 모델 편집을 위한 통합 프레임워크
ROME과 MEMIT은 보존-기억화 목적함수를 최적화하는 두 가지 실현 방식이다. ROME은 등식 제약을 사용하여 기억화를 수행하고, MEMIT은 최소 제곱 목적함수를 사용한다. 또한 MEMIT은 편집 분포 알고리즘을 통해 다중 레이어 편집을 수행한다.
단일 및 다중 레이어 모델 편집을 위한 통합 프레임워크
ROME과 MEMIT은 보존-기억화 목적함수를 최적화하는 두 가지 실현 방식이다. ROME은 등식 제약을 사용하여 기억화를 수행하는 반면, MEMIT은 최소 제곱 목적함수를 사용한다. EMMET은 등식 제약 하에서 일괄 편집을 수행하는 새로운 알고리즘이다.
