다양한 문서 이미지 주석 플랫폼: Callico

Core Concepts

Callico는 문서 인식 프로젝트를 위한 효율적이고 협력적인 주석 도구를 제공하는 웹 기반 오픈 소스 플랫폼이다.

Abstract

Callico는 문서 인식 프로젝트에 필요한 고품질 데이터 생성을 지원하는 혁신적인 기능을 제공한다. 주요 특징은 다음과 같다:

• 디지털화된 문서의 이미지와 텍스트를 동시에 시각화하고 주석을 달 수 있는 듀얼 디스플레이 주석 기능
• 팀 구성원 또는 자원봉사자가 참여할 수 있는 협력적 주석 기능
• 텍스트 분류, 수동 전사, 레이아웃 주석, 정보 추출 등 다양한 주석 작업 지원
• 오픈 소스 소프트웨어로 제공되어 접근성과 확장성이 높음
• 지속적 통합/배포 관행을 통해 유지보수성과 품질이 보장되는 코드 베이스

Callico는 문서 인식 프로젝트에 필요한 효율성, 협력성, 데이터 품질을 향상시키는 포괄적인 솔루션을 제공한다. 벨포르 시 공문서 전사, ICRC 제2차 세계대전 포로 색인, Socface 프로젝트의 인구 조사 문서 전사 등 다양한 사례를 통해 Callico의 유용성과 적용성을 입증하고 있다.

Stats

문서 인식 프로젝트에서 고품질 데이터의 중요성이 강조되고 있다.
Callico는 616개 이미지에 대해 150명의 기여자가 참여한 벨포르 시 공문서 전사 프로젝트를 지원했다.
ICRC 제2차 세계대전 포로 색인 프로젝트에서는 500페이지의 이중 키 주석 작업이 60시간 만에 완료되었고, 이후 5,000페이지의 자동 추출 결과가 273명의 기여자에 의해 13초/라인의 속도로 검증되었다.
Socface 프로젝트에서는 33,815개의 개인 정보 주석과 532페이지의 가구 그룹화 주석이 70명의 기여자에 의해 수집되었다.

Quotes

"더 나은 데이터가 더 나은 알고리즘보다 낫다"
"데이터 중심 AI 운동은 데이터 엔지니어링에 우선순위를 두고 있다"

Key Insights Distilled From

Callico: a Versatile Open-Source Document Image Annotation Platform

by Christopher ... at arxiv.org 05-03-2024

https://arxiv.org/pdf/2405.01071.pdf

Deeper Inquiries

문제 1

Callico 이외의 오픈 소스 주석 도구에는 Transkribus, eScriptorium, Pivan, Kili, LabelStudio, Tagtog, Prodigy, FromThePage 등이 있습니다.

Transkribus: 역사적 문서의 전사에 중점을 둔 플랫폼으로 사용자 정의 필기 인식 모델을 훈련하고 전사 관련 주석을 위한 통합 인터페이스를 제공합니다. 그러나 문서 분류나 Named Entity Recognition 훈련을 위한 기능이 부족하며 오픈 소스가 아니어서 수정이나 통합이 제한됩니다.
eScriptorium: 역사적 문서 분할 및 전사를 위한 도구를 제공하나 주로 전사 작업에 한정되어 있고 문서 분류나 NER와 같은 기능이 부족합니다.
Pivan: 레이아웃 분석, 전사, NER을 지원하는 오픈 소스 플랫폼이지만 Key-Value 모드나 그룹화 모드와 같은 기능이 없습니다.
Kili: 다양한 미디어에 대한 주석 캠페인 관리를 위한 플랫폼이지만 전통적인 문서 주석에는 적합하지 않습니다.
LabelStudio: 다양한 미디어에 대한 주석 플랫폼이지만 문서 주석에 특화되지 않았습니다.
Tagtog: 완전한 문서에서 명명된 엔티티 주석에 특화되어 있지만 수동 전사나 레이아웃 분석을 지원하지 않습니다.
Prodigy: NLP 작업을 위한 주석 라이브러리로 문서의 텍스트와 이미지를 함께 주석하는 기능을 지원하지 않습니다.
FromThePage: 역사적 문서의 전사와 주석을 단순화하는 플랫폼으로 프로젝트 구성, 프로모션, 관리 및 다국어 지원을 위한 다양한 도구를 제공하지만 기계 학습 기술과의 통합이 부족합니다.
각 도구는 특정 기능에 초점을 맞추고 있으며 Callico와 비교하여 장단점이 있습니다.

문제 2

Callico의 주석 품질 관리 메커니즘을 개선하기 위해 다음과 같은 방법을 고려할 수 있습니다:

상호 주석자 합의를 통한 품질 평가: 주석자 간의 일치도를 평가하고 일치하지 않는 부분을 식별하여 품질을 향상시킵니다.
순차 주석 모드 도입: 주석자들이 순차적으로 주석을 추가하고 수정할 수 있는 모드를 도입하여 주석의 일관성과 정확성을 향상시킵니다.
예측 품질 점수를 활용한 인간 검증: 기계 학습 모델의 예측 품질 점수를 활용하여 주석자들이 검증 또는 수정할 부분을 효율적으로 식별하고 품질을 향상시킵니다.

문제 3

Callico의 주석 작업 자동화 수준을 높이기 위해 다음 기술적 접근이 필요할 것입니다:

자동 주석 모델 개선: 더 정확하고 효율적인 자동 주석 모델을 개발하여 주석 작업의 일부를 자동화하고 주석자의 작업 부담을 줄입니다.
실시간 피드백 시스템 구축: 주석자가 주석을 추가하거나 수정하는 동안 실시간 피드백을 제공하여 오류를 신속하게 발견하고 수정할 수 있도록 지원합니다.
AI 기반 작업 할당: AI를 활용하여 주석 작업을 효율적으로 분배하고 주석자의 작업 시간을 최적화하여 작업 효율성을 향상시킵니다.