登入
洞見 - 대형 언어 모델
대형 언어 모델의 추론 효율성 향상: 최적화 전략과 구조적 혁신 탐구
대형 언어 모델의 크기가 증가함에 따라 추론 비용이 심각한 문제가 되고 있다. 본 연구에서는 모델 압축 기법을 통해 대형 언어 모델의 성능을 유지하면서도 추론 비용을 줄이는 방법을 제안한다.
대형 언어 모델에 저장된 데이터를 실제로 국소화할 수 있는가? 두 벤치마크의 이야기
대형 언어 모델에 저장된 데이터를 식별하는 국소화 방법의 성능을 체계적으로 평가하고 비교한다.
대형 언어 모델이 개인정보를 노출하지 않고 다른 대형 언어 모델의 도움을 받을 수 있는 방법
대형 언어 모델이 개인정보를 노출하지 않고도 다른 대형 언어 모델의 도움을 받아 성능을 향상시킬 수 있는 방법을 제안한다.
대형 언어 모델의 진실성 향상을 위한 프로빙 및 개입 최적화
대형 언어 모델의 내부 표현을 편집하여 진실성 향상을 달성하는 NL-ITI 방법론을 제안하였다. NL-ITI는 기존 ITI 방법보다 성능이 크게 향상되었으며, 다양한 벤치마크에서 우수한 일반화 능력을 보였다.
대형 언어 모델의 과도한 추론과 불필요한 계산
대형 언어 모델은 계산이나 추론이 필요하지 않은 문제에서도 불필요한 계산과 추론을 생성하는 경향이 있다.
AI 생성 텍스트 탐지를 위한 대형 언어 모델의 통계적 이해 향상
대형 언어 모델 워터마킹 기법의 모델 왜곡과 탐지 능력 간 최적의 균형을 찾는다.
대형 언어 모델의 이중 워터마크
대형 언어 모델에 두 개의 독립적인 비밀 패턴을 임베딩하여 워터마크 탐지 효율성과 텍스트 품질을 향상시킨다.
비전문가 LLM 사용자를 위한 파인튜닝, 검색 보강 생성 및 소프트 프롬팅의 성능 기준 수립
비전문가 LLM 사용자를 위해 파인튜닝, 검색 보강 생성 및 시스템 프롬팅의 기본 성능 수준을 제시한다.
대형 언어 모델의 지식 차단 시점 추적
대형 언어 모델의 지식 차단 시점은 모델 제작자가 제공한 차단 시점과 실제 차단 시점이 다를 수 있으며, 이는 데이터 중복 제거 과정의 문제와 CommonCrawl 데이터의 시간적 편향 때문이다.
대형 언어 모델 학습을 위한 토크나이저 선택: 무시할 수 있는 것인가, 아니면 핵심적인가?
토크나이저 선택이 대형 언어 모델의 하위 작업 성능과 학습 비용에 상당한 영향을 미칠 수 있다.
