대규모 스키마 기반 정보 추출 코퍼스 발굴: IEPILE
IEPILE는 기존 정보 추출 데이터셋을 수집하고 정제하여 구축한 포괄적인 이중언어(영어 및 중국어) 정보 추출 지침 코퍼스로, 약 0.32B 토큰을 포함하고 있다. 스키마 기반 지침 생성 기법을 도입하여 대규모 코퍼스를 발굴하였으며, 이를 통해 LLaMA, Baichuan, Qwen 등의 언어 모델의 정보 추출 성능, 특히 제로샷 일반화 능력을 향상시킬 수 있음을 보였다.
정보 추출의 품질 평가
정보 추출의 품질을 객관적으로 평가하기 위한 자동화된 프레임워크를 제안한다. 이를 위해 인공적으로 생성된 복잡한 정보를 문서에 삽입하여 대규모 언어 모델의 정보 추출 효율성을 테스트한다.
정보 추출을 위한 생성 언어 모델 평가: 주관식 질문 교정을 활용한 접근
정보 추출 작업에서 기존 평가 방식의 한계를 극복하고자 주관식 질문 교정 데이터를 활용하여 생성 언어 모델을 정교하게 매칭하고, 자연어 추론 모델을 통해 데이터셋의 불완전성을 보완하는 새로운 평가 방법인 SQC-Score를 제안한다.
중심 요소 인식을 통한 중첩 이벤트 추출
중심 요소(Pivot Element)를 효과적으로 인식하여 중첩 이벤트 구조를 정확하게 추출하는 것이 핵심 아이디어이다.
LLM에서 모든 종류의 정보 추출 작업을 위한 메타 모델 추출
LLM에서 메타 이해를 추출하여 모든 종류의 정보 추출 작업에 효과적이고 효율적으로 적용할 수 있는 작은 언어 모델을 구축하는 것이 핵심 아이디어이다.
정보 추출을 위한 범용적인 접근법은 존재하는가? 데이터 정의 편향 재검토
정보 추출 작업에서 데이터 정의 편향은 모델의 성능을 저하시키는 주요 요인이며, 이를 해결하기 위한 체계적인 접근법이 필요하다.
정보 추출을 위한 대규모 언어 모델 KnowCoder: 구조화된 지식을 코드로 표현하여 범용 정보 추출 수행
KnowCoder는 코드 생성을 통해 범용 정보 추출(UIE)을 수행하는 대규모 언어 모델이다. KnowCoder는 언어 모델이 쉽게 이해할 수 있는 통일된 스키마 표현 방식과 언어 모델이 스키마를 따르도록 하는 효과적인 학습 프레임워크를 개발하는 것을 목표로 한다.
대형 언어 모델을 활용한 구조화된 엔티티 추출
대형 언어 모델을 활용한 구조화된 엔티티 추출의 새로운 방법 소개
ChatUIE: Exploring Chat-based Unified Information Extraction using Large Language Models
ChatUIE는 대규모 언어 모델을 활용한 통합 정보 추출을 탐구합니다.