
대형 언어 모델은 중재에 따른 데이터 생성 프로세스의 변화를 정확하게 예측할 수 있다.


coremsg

대형-언어-모델의-중재-추론-능력-평가


대형 언어 모델의 중재 추론 능력 평가



대형 언어 모델은 인지 부하 하에서 선택 편향을 보상하는 경향이 있다.



대형 언어 모델의 인지 부하 하에서의 보상적 편향



대형 언어 모델의 매개변수 분포가 훈련 과정에서 두 가지 뚜렷한 양상을 보인다: 초기에는 확산 과정을 거치다가 이후 결정론적 이중 모드 분포로 수렴한다. 이러한 분기 현상은 모델 성능 향상과 관련이 있으며, 효율적인 모델 훈련 및 경량화에 활용될 수 있다.



대형 언어 모델의 동적 매개변수 분포 관찰: 분기 효과와 그 의미
