대규모 언어 모델(LLM)의 신뢰성을 종합적으로 평가하기 위한 TRUSTLLM 프레임워크를 제안한다. TRUSTLLM은 LLM의 신뢰성을 8가지 차원(진실성, 안전성, 공정성, 견고성, 프라이버시, 기계 윤리, 투명성, 책임성)에서 평가하고, 16개의 주요 LLM을 대상으로 30개 이상의 데이터셋을 활용해 종합적으로 분석한다.
대규모 언어 모델의 신뢰성을 평가하기 위해 8가지 차원의 신뢰성 원칙을 제안하고, 이를 바탕으로 6가지 차원에서 16개 주요 언어 모델을 종합적으로 평가하였다. 평가 결과, 신뢰성과 효용성이 긍정적으로 관련되어 있으며, 대부분의 독점 모델이 공개 모델보다 신뢰성이 높지만 일부 공개 모델도 이에 필적할 수 있음을 발견하였다.
대규모 언어 모델(LLM)의 신뢰성을 종합적으로 평가하기 위한 TRUSTLLM 프레임워크를 제안한다. TRUSTLLM은 LLM의 신뢰성을 8가지 차원에서 평가하며, 16개의 주요 LLM을 대상으로 30개 이상의 데이터셋을 활용하여 종합적인 평가를 수행한다.
TRUSTLLM은 대규모 언어 모델의 신뢰성을 종합적으로 평가하는 프레임워크로, 8가지 차원의 신뢰성 원칙을 제안하고 이를 기반으로 한 벤치마크를 통해 16개 주요 언어 모델의 신뢰성을 분석한다.