SM3-Text-to-Query：基於合成數據的多模型醫學文本到查詢基準測試

核心概念

SM3-Text-to-Query是一個基於合成數據的多模型醫學文本到查詢基準測試，它提供了跨越關係型數據庫、文檔數據庫和圖形數據庫的多種查詢語言的評估，揭示了不同數據庫模型、查詢語言和文本到查詢方法之間的表現差異和權衡。

摘要

SM3-Text-to-Query：基於合成數據的多模型醫學文本到查詢基準測試

導言

近年來，越來越多研究專注於開發將自然語言轉換為數據庫查詢語句的「文本到查詢」系統，特別是在醫療領域，這些系統有望讓不熟悉數據庫查詢語言的醫護人員也能輕鬆查詢電子病歷。然而，現有的文本到查詢數據集和基準測試通常只關注單一數據庫模型和查詢語言，忽略了不同數據庫模型和查詢語言對系統性能的影響。

SM3-Text-to-Query 的主要特點

為了解決這個問題，本文提出了 SM3-Text-to-Query，這是一個基於合成數據的多模型醫學文本到查詢基準測試，它具有以下主要特點：

• 基於標準且保護隱私： SM3-Text-to-Query 使用 Synthea 合成病人數據生成器創建，不涉及真實病人數據，保護了隱私。數據模型遵循 SNOMED-CT 醫學術語體系，確保了基準測試在全球醫療保健領域的廣泛適用性。
• 支持三種數據庫模型和四種查詢語言： SM3-Text-to-Query 提供了四種數據庫的數據表示：PostgreSQL（關係型數據庫）、MongoDB（文檔數據庫）、Neo4j 和 GraphDB（圖形數據庫），並支持 SQL、MQL、Cypher 和 SPARQL 四種查詢語言，允許開發者評估不同數據庫模型和查詢語言對文本到查詢系統性能的影響。
• 系統且可擴展的問題生成方法： 研究人員系統地手工創建了 408 個涵蓋 Synthea 數據主要實體和屬性的模板問題，並通過參數化採樣方法自動擴展和豐富這些模板問題，構建了一個包含 10,000 個自然語言問題/查詢對的基準測試集（每種查詢語言 10,000 個，總共 40,000 個）。這種方法易於擴展，可以通過添加新的模板問題或使用真實的、基於標準的病人數據庫來適應不同的應用場景。

數據集分析和比較

SM3-Text-to-Query 數據集包含 40,000 個文本/查詢對，涵蓋了 19 個不同的問題類別。通過分析數據集，研究人員發現不同查詢語言的查詢複雜度存在顯著差異，例如 SPARQL 查詢的詞彙量和關鍵字數量最多，而 Cypher 查詢則最為簡潔。與其他醫學文本到查詢數據集相比，SM3-Text-to-Query 的查詢複雜度更高，特別是在 MQL 和 SPARQL 查詢方面。

基線實驗評估

為了評估大型語言模型（LLM）在將自然語言問題轉換為不同查詢語言方面的性能，研究人員使用四種常見的開源和閉源 LLM 進行了實驗，並採用了相同的上下文學習（ICL）提示策略。實驗結果表明，模式信息對所有查詢語言的準確性都有幫助，但程度不同。添加示例可以通過 ICL 提高所有 LLM 和查詢語言的準確性，但改進程度因查詢語言而異。LLM 在不同查詢語言上的表現也存在差異，這可能與它們的訓練數據有關。

結論

SM3-Text-to-Query 是一個基於合成數據的多模型醫學文本到查詢基準測試，它為評估和比較不同文本到查詢方法在不同數據庫模型和查詢語言上的性能提供了一個有價值的平台。該基準測試的發布將促進醫學文本到查詢領域的進一步研究和發展。

統計資料

SM3-Text-to-Query 數據集包含 10,000 個文本/查詢對，涵蓋了 19 個不同的問題類別，並支持 SQL、MQL、Cypher 和 SPARQL 四種查詢語言。
SPARQL 查詢的詞彙量和關鍵字數量最多，而 Cypher 查詢則最為簡潔。
MQL 查詢的嵌套深度最高，而 SPARQL 查詢的連接和遍歷操作最多。
在 Stack Overflow 上，與 SQL 相關的帖子數量最多（673K），其次是 MongoDB 和 MQL（176K），然後是 Cypher 和 Neo4j（33K），最後是 SPARQL（6K）。
使用基於相似度的 few-shot 示例選擇方法可以將 SQL 的執行準確率提高到 88.55%。

引述

"While the relational model and the SQL query language are still the primary choice for EHRs [22], there has been an increased interest in document and graph database models due to their schema flexibility and natural capacity to interconnect data sources across data silos [37, 11, 7]."
"The choice of database and the underlying core data model (relational, document, graph) has a large impact on read/write performance and query complexity."
"Text-to-Query systems have seen a recent growth in the number of developed methods and new high scores, mainly due to the transformer architecture and advances in Large Language Models (LLMs) [17]."

從以下內容提煉的關鍵洞見

SM3-Text-to-Query: Synthetic Multi-Model Medical Text-to-Query Benchmark

by Sithursan Si... 於 arxiv.org 11-11-2024

https://arxiv.org/pdf/2411.05521.pdf

深入探究

SM3-Text-to-Query 基於合成數據，那麼如何評估其在真實醫療環境中的適用性和可靠性？

雖然 SM3-Text-to-Query 基於合成數據具有標準化和隱私保護的優勢，但在評估其在真實醫療環境中的適用性和可靠性時，需要考慮以下幾個方面：

數據代表性：

合成數據能否充分反映真實電子健康記錄 (EHR) 的複雜性和多樣性？
真實 EHR 數據通常包含錯誤、不一致和缺失值，合成數據能否模擬這些情況？
SM3-Text-to-Query 使用的 SNOMED CT 醫學術語體系，在真實醫療機構中應用程度如何？ 是否存在其他常用的醫學術語標準需要考慮？

查詢複雜性：

SM3-Text-to-Query 中的查詢模板能否涵蓋真實醫療場景中用戶查詢的複雜性和多樣性？
真實用戶查詢可能包含更複雜的邏輯關係、時間約束和模糊語義，模型能否準確理解和轉換這些查詢？

模型泛化能力：

基於合成數據訓練的模型能否泛化到真實 EHR 數據？
模型能否適應不同醫療機構的數據結構、術語差異和查詢習慣？
為了評估 SM3-Text-to-Query 在真實醫療環境中的適用性和可靠性，可以考慮以下方法：

使用真實 EHR 數據進行測試： 使用真實 EHR 數據集對模型進行評估，比較其在合成數據和真實數據上的性能差異。
與現有系統進行比較： 將 SM3-Text-to-Query 與現有的醫學文本查詢系統進行比較，例如基於規則的系統或其他基於機器學習的系統。
進行用戶評估： 邀請醫療專業人員對系統進行評估，例如評估查詢結果的準確性、效率和可理解性。
通過綜合考慮數據代表性、查詢複雜性、模型泛化能力以及上述評估方法，可以更全面地評估 SM3-Text-to-Query 在真實醫療環境中的適用性和可靠性。

文中主要關注查詢的準確性，那麼如何評估查詢的效率和可解釋性？

除了準確性，效率和可解釋性也是評估醫學文本到查詢系統的重要指標。

效率：

查詢響應時間： 測量從用戶輸入查詢到系統返回結果所需的時間。
資源消耗： 評估系統執行查詢所需的計算資源，例如 CPU 使用率、內存佔用等。
可擴展性： 評估系統處理大規模數據和複雜查詢的能力。

可解釋性：

查詢邏輯透明度： 系統能否清晰地展示查詢的邏輯步驟，例如數據源、過濾條件、連接關係等？
結果可追溯性： 系統能否提供查詢結果的依據，例如相關數據記錄、醫學知識圖譜等？
用戶理解難度： 醫學專業人員能否理解系統生成的查詢語句和結果？
以下是一些評估效率和可解釋性的具體方法：

效率：

使用基準測試數據集，測量不同查詢的平均響應時間和資源消耗。
測試系統在不同數據規模和查詢複雜度下的性能表現。

可解釋性：

邀請醫學專業人員評估系統生成的查詢語句和結果的可理解性。
開發可視化工具，幫助用戶理解查詢邏輯和結果依據。
使用客觀指標量化查詢邏輯的複雜度，例如查詢語句長度、嵌套層級等。
通過綜合評估查詢的準確性、效率和可解釋性，可以更全面地評估醫學文本到查詢系統的性能和適用性。

除了大型語言模型，還有哪些其他方法可以用於醫學文本到查詢任務，它們的優缺點是什麼？

除了大型語言模型 (LLM)，還有其他方法可以用於醫學文本到查詢任務，例如：

基於規則的系統 (Rule-based systems):

優點：

邏輯透明，易於理解和維護。
在處理特定領域的查詢時可以非常準確。

缺點：

需要人工制定規則，成本高且難以擴展到新領域。
難以處理自然語言的模糊性和多樣性。

基於關鍵詞匹配的方法 (Keyword-based methods):

優點：

易於實現，計算成本低。

缺點：

準確率有限，容易受到詞義 ambiguity 和語法結構的影響。
難以處理複雜查詢和語義理解。

基於語義解析的方法 (Semantic parsing methods):

優點：

可以將自然語言轉換為形式化的邏輯表達式，便於查詢理解和推理。

缺點：

需要構建領域知識庫和語義詞典，成本高。
難以處理自然語言的靈活性和歧義性。

混合方法 (Hybrid methods):

結合上述方法的優勢，例如使用規則處理特定查詢，使用機器學習處理更通用的查詢。
最佳方法取決於具體的應用場景和需求。例如，如果需要處理高度標準化的查詢，基於規則的系統可能是最佳選擇。如果需要處理更複雜和多樣的查詢，則需要考慮使用 LLM 或其他基於機器學習的方法。