피드백 기반 지식 증류를 통한 소형 언어 모델의 수학적 추론 능력 향상
대형 언어 모델(LLM)의 추론 능력을 소형 언어 모델(SLM)로 효율적으로 전이시키는 피드백 기반 지식 증류(FDD) 프레임워크를 소개합니다. FDD는 LLM을 활용하여 복잡하고 다양한 수학 문제를 생성하고, 이를 통해 증류 데이터셋을 확장하여 SLM의 수학적 추론 능력을 향상시킵니다.
검색 증강 생성에서의 지식 검증: 표현 관점
대규모 언어 모델(LLM)의 표현 공간을 분석하여 검색 증강 생성(RAG) 시스템의 지식 검증 작업을 효과적으로 수행할 수 있다.
대규모 언어 모델에서 정확성과 공정성 간의 상충 관계 심층 탐구: 다목표 진화 학습을 통한 공정성 중심 접근 방식
대규모 언어 모델(LLM)의 정확성을 향상시키는 동시에 공정성을 확보하는 것은 어려운 과제이며, 이는 다목표 학습 문제로 다루어져야 한다.
대규모 언어 모델을 활용한 질적 연구: 체계적 문헌 고찰 연구
본 연구는 질적 연구에서 대규모 언어 모델(LLM)의 적용 가능성과 과제, 미래 방향을 체계적으로 분석하여 LLM이 전통적인 질적 분석 방법의 한계를 극복하고 연구 효율성을 향상시킬 수 있는 잠재력을 제시한다.
언어 모델을 임베딩 모델로 용도 변경: 계산 비용에 최적화된 방법론 탐색
본 논문에서는 제한된 계산 예산 내에서 최적의 성능을 내는 텍스트 임베딩 모델을 만들기 위해 사전 훈련된 디코더 전용 언어 모델을 활용하여 계산 비용을 최소화하면서 효율적으로 임베딩 모델을 미세 조정하는 방법을 연구합니다.
미세 조정된 BERT 임베딩을 사용한 가벼운 안전 가드레일
대규모 언어 모델(LLM)의 안전성을 높이기 위해 BERT 임베딩을 활 leveraging하여 가볍고 효율적인 안전 가드레일을 개발했습니다. 이 방법은 기존 LLM 기반 가드레일에 비해 레이턴시를 줄이고 유지 관리 비용을 절감하면서도 뛰어난 성능을 제공합니다.
러시아어 문장의 품사 태깅을 활용한 골격 구조 분석
본 논문에서는 BERT 학습 전이를 사용하여 텍스트에 부분 주석을 적용하는 모델을 개발하는 과정과 데이터 준비 및 결과 평가 과정을 설명하며, 제안된 방법이 텍스트에 태그를 지정하는 데 좋은 결과를 얻을 수 있음을 보여줍니다.
LLM 탈옥을 위한 효율적인 블랙박스 적대적 접미사 생성: GASP
GASP는 LLM의 취약성을 악용하여 유해한 응답을 유도하는 적대적 접미사를 생성하는 효율적이고 확장 가능한 프레임워크이며, 특히 블랙박스 환경에서 높은 성공률과 자연스러운 문장 생성을 자랑합니다.
적응형 임베딩 네트워크(AEN): 저자원 환경을 위한 효율적인 텍스트 분류
AEN은 런타임에 조정 가능한 분류 기준을 사용하여 저자원 환경에서 효율적인 텍스트 분류를 가능하게 하는 새로운 듀얼 인코더 아키텍처입니다.
전국 물류 데이터 기반 대규모 언어 모델을 활용한 주소 재작성: AddrLLM
비정상적인 주소 문제를 해결하기 위해 검색 증강 대규모 언어 모델(LLM) 기반 주소 재작성 프레임워크인 AddrLLM을 소개하며, 실제 물류 시스템에서 뛰어난 성능과 효율성을 보여줍니다.
© 2024 by Linnk AI