안전 튜닝된 LLaMAs: 대규모 언어 모델의 안전성 향상을 위한 교훈

대규모 언어 모델의 안전성을 향상시키기 위해서는 단순한 도움이 아닌 무해성을 강조해야 한다. 소량의 안전 데이터(몇 백 개의 예시)를 추가하여 모델을 미세 조정하면 모델의 안전성을 크게 향상시킬 수 있다. 그러나 과도한 안전 데이터 추가는 모델의 과도한 안전 행동을 유발할 수 있다.