대형 언어 모델의 크기가 증가함에 따라 추론 비용이 심각한 문제가 되고 있다. 본 연구에서는 모델 압축 기법을 통해 대형 언어 모델의 성능을 유지하면서도 추론 비용을 줄이는 방법을 제안한다.
대형 언어 모델에 저장된 데이터를 식별하는 국소화 방법의 성능을 체계적으로 평가하고 비교한다.
대형 언어 모델이 개인정보를 노출하지 않고도 다른 대형 언어 모델의 도움을 받아 성능을 향상시킬 수 있는 방법을 제안한다.
대형 언어 모델의 내부 표현을 편집하여 진실성 향상을 달성하는 NL-ITI 방법론을 제안하였다. NL-ITI는 기존 ITI 방법보다 성능이 크게 향상되었으며, 다양한 벤치마크에서 우수한 일반화 능력을 보였다.
대형 언어 모델은 계산이나 추론이 필요하지 않은 문제에서도 불필요한 계산과 추론을 생성하는 경향이 있다.
대형 언어 모델 워터마킹 기법의 모델 왜곡과 탐지 능력 간 최적의 균형을 찾는다.
대형 언어 모델에 두 개의 독립적인 비밀 패턴을 임베딩하여 워터마크 탐지 효율성과 텍스트 품질을 향상시킨다.
비전문가 LLM 사용자를 위해 파인튜닝, 검색 보강 생성 및 시스템 프롬팅의 기본 성능 수준을 제시한다.
대형 언어 모델의 지식 차단 시점은 모델 제작자가 제공한 차단 시점과 실제 차단 시점이 다를 수 있으며, 이는 데이터 중복 제거 과정의 문제와 CommonCrawl 데이터의 시간적 편향 때문이다.
토크나이저 선택이 대형 언어 모델의 하위 작업 성능과 학습 비용에 상당한 영향을 미칠 수 있다.