Основные понятия
LLM을 활용한 Text-to-SQL 변환 성능을 향상시키기 위해 오류 방지 지침(EPI)을 활용하는 방법을 제안한다.
Аннотация
이 논문은 LLM(Large Language Model)을 활용한 Text-to-SQL 변환 성능 향상을 위한 EPI-SQL이라는 새로운 방법론을 소개한다.
주요 내용은 다음과 같다:
오류 발생 가능성이 높은 Text-to-SQL 문제 인스턴스를 수집하고, 이를 바탕으로 오류 방지 지침(EPI)을 생성한다.
현재 문제의 맥락에 맞는 맥락화된 EPI를 생성한다.
생성된 EPI를 활용하여 SQL 쿼리를 생성한다.
이 방법을 통해 LLM이 잠재적인 오류를 사전에 인지하고 회피할 수 있게 되어, 기존 zero-shot 접근 방식에 비해 뛰어난 성능을 보인다.
Spider 벤치마크에서 EPI-SQL은 85.1%의 실행 정확도와 77.9%의 테스트 스위트 정확도를 달성하여, 기존 최신 기법들을 능가하는 성과를 보였다.
Статистика
오류 발생 가능성이 높은 Text-to-SQL 문제 인스턴스는 7,000개 중 1,083개로 나타났다.
이 중 529개의 인스턴스가 EPI 생성을 위해 최종 선정되었다.
Цитаты
"EPI-SQL은 LLM이 잠재적인 오류를 사전에 인지하고 회피할 수 있게 하여, 기존 zero-shot 접근 방식에 비해 뛰어난 성능을 보인다."
"Spider 벤치마크에서 EPI-SQL은 85.1%의 실행 정확도와 77.9%의 테스트 스위트 정확도를 달성하여, 기존 최신 기법들을 능가하는 성과를 보였다."