이 논문은 데이터 표준화 작업을 자동화하기 위한 CleanAgent 프레임워크를 소개합니다.
데이터 표준화는 데이터 과학 생명 주기에서 중요한 부분이지만, 기존 도구들의 복잡성과 수작업 요구로 인해 많은 어려움이 있었습니다. 이를 해결하기 위해 저자들은 다음과 같은 접근법을 제안했습니다:
Dataprep.Clean 라이브러리: 선언적이고 통일된 API를 제공하여 특정 열 유형의 표준화를 단 한 줄의 코드로 수행할 수 있게 합니다. 이를 통해 LLM의 코드 생성 작업을 단순화합니다.
CleanAgent 프레임워크: Dataprep.Clean과 LLM 기반 에이전트를 결합하여 데이터 표준화 프로세스를 자동화합니다. 데이터 과학자는 요구사항을 한 번만 입력하면 CleanAgent가 자동으로 표준화를 수행합니다.
CleanAgent는 웹 애플리케이션으로 구현되어 VLDB 참석자들이 실제 데이터셋을 사용하여 상호작용할 수 있습니다.
翻譯成其他語言
從原文內容
arxiv.org
深入探究