Centrala begrepp
본 논문은 다양한 문서 처리 및 정보 추출 작업을 평가할 수 있는 새로운 지표 ANLS를 제안한다. ANLS는 기존 ANLS 지표의 단점을 보완하여 구조화된 출력과 복잡한 데이터 유형을 처리할 수 있다. 또한 ANLS*는 판별 모델과 생성 모델을 동일한 지표로 비교할 수 있어 문서 처리 분야의 발전에 기여할 것으로 기대된다.
Sammanfattning
본 논문은 문서 처리 작업을 평가하기 위한 새로운 지표 ANLS를 제안한다. ANLS는 기존 ANLS 지표의 단점을 보완하여 다양한 데이터 유형과 구조화된 출력을 처리할 수 있다.
주요 내용은 다음과 같다:
- ANLS* 지표의 정의: 문자열, 없음, 튜플, 리스트, 딕셔너리 등 다양한 데이터 유형을 지원하며, 구조화된 출력도 처리할 수 있다.
- ANLS* 지표의 실험적 평가: 7개의 데이터셋과 6개의 생성형 대규모 언어 모델, 3가지 프롬프팅 기법을 사용하여 ANLS* 지표의 성능을 검증했다.
- 프롬프팅 기법 비교: 제안한 SFT 프롬프팅 기법이 기존 기법보다 우수한 성능을 보였다.
- 생성형 모델 성능 비교: GPT-4-turbo와 Claude-3이 다른 모델에 비해 우수한 성능을 보였다.
ANLS*는 문서 처리 작업을 평가하는 데 유용한 지표로, 향후 문서 처리 분야의 발전에 기여할 것으로 기대된다.
Statistik
문서 처리 작업에서 생성형 대규모 언어 모델의 성능은 기존 판별 모델을 능가할 수 있다.
GPT-4-turbo와 Claude-3 모델이 다른 모델에 비해 우수한 성능을 보였다.
제안한 SFT 프롬프팅 기법이 기존 기법보다 우수한 성능을 보였다.
Citat
"전통적으로 판별 모델이 문서 분류 및 정보 추출 작업의 주된 선택이었지만, 최근 생성형 대규모 언어 모델의 발전으로 인해 이 분야에 변화가 일어나고 있다."
"ANLS* 지표는 기존 ANLS 지표의 단점을 보완하여 다양한 데이터 유형과 구조화된 출력을 처리할 수 있다."
"27개의 실험 중 25개에서 SFT 프롬프팅 기법이 다른 기법보다 우수한 성능을 보였다."