TrustSQL는 텍스트-SQL 모델의 신뢰성을 평가하기 위한 새로운 벤치마크이다. 기존 연구는 주로 SQL 생성 정확도 향상에 초점을 맞추었지만, 실제 배포 상황에서는 답변 불가능한 질문에 대한 대처 능력도 중요하다.
TrustSQL는 단일 데이터베이스와 크로스 데이터베이스 설정 모두에서 텍스트-SQL 모델의 신뢰성을 평가한다. 모델은 두 가지 출력 중 하나를 제공해야 한다: 1) SQL 예측 또는 2) 예측 불가능 표시. 예측 불가능 표시는 생성된 SQL에 오류가 있거나 답변 불가능한 질문이 주어진 경우에 해당된다.
모델 평가를 위해 TrustSQL는 다음과 같은 접근법을 탐구한다: 1) 답변 가능성 감지, SQL 생성, 오류 감지를 위한 별도의 모델을 최적화하고 이를 단일 파이프라인으로 통합하는 방법, 2) 제안된 과제를 해결하기 위해 단일 모델을 최적화하는 통합 접근법. 실험 결과, 이 과제를 해결하기 위해서는 다양한 모델링 접근법이 필요하며, 모델 개발을 위한 새로운 방향을 제시한다.
他の言語に翻訳
原文コンテンツから
arxiv.org
深掘り質問