Sign In
insight - 대형 언어 모델 분석
대형 언어 모델의 중재 추론 능력 평가
대형 언어 모델은 중재에 따른 데이터 생성 프로세스의 변화를 정확하게 예측할 수 있다.
대형 언어 모델의 인지 부하 하에서의 보상적 편향
대형 언어 모델은 인지 부하 하에서 선택 편향을 보상하는 경향이 있다.
대형 언어 모델의 동적 매개변수 분포 관찰: 분기 효과와 그 의미
대형 언어 모델의 매개변수 분포가 훈련 과정에서 두 가지 뚜렷한 양상을 보인다: 초기에는 확산 과정을 거치다가 이후 결정론적 이중 모드 분포로 수렴한다. 이러한 분기 현상은 모델 성능 향상과 관련이 있으며, 효율적인 모델 훈련 및 경량화에 활용될 수 있다.