在市場推廣平台上利用大型語言模型實現自然語言搜尋

核心概念

本文提出了一種利用大型語言模型將自然語言查詢轉換為結構化搜尋查詢的方法，以提升企業搜尋的易用性及效率。

摘要

論文概述

本研究論文探討了如何利用大型語言模型 (LLM) 改進現有市場推廣平台上企業搜尋功能的用戶體驗。作者指出，傳統的進階搜尋介面雖然功能強大，但對非技術人員來說過於複雜且難以使用。為了解決這個問題，作者提出了一種基於 LLM 的解決方案，可以將自然語言查詢轉換為結構化的搜尋查詢，從而簡化搜尋過程。

研究方法

作者首先將自然語言查詢轉換為包含進階搜尋欄位的 JSON 格式，再將其轉換為平台可執行的搜尋服務查詢。這種兩階段轉換方法有效避免了直接生成搜尋服務查詢時可能出現的語法錯誤，同時也簡化了人工標註資料的建立過程。

為了優化 LLM 的效能，作者採用了多種進階提示工程技術，包括系統訊息、少樣本學習和思維鏈提示。系統訊息詳細定義了 LLM 的角色、資料庫結構以及任務邏輯。少樣本學習通過提供少量範例幫助模型理解預期輸出格式和推理過程。思維鏈提示則引導 LLM 逐步推理，以準確地將自然語言查詢轉換為 JSON 格式。

實驗結果

作者使用多種相似度指標評估了不同 LLM 模型的效能，包括精確匹配、Jaccard 相似度、餘弦相似度和語義相似度。實驗結果顯示，經過提示工程和執行優化後，Claude 3.5 Sonnet 模型在所有指標上均取得了最佳效能，平均查詢準確率高達 97%。此外，作者還對開源模型 Llama3-8B-Instruct 進行了微調，結果顯示其效能與 Anthropic 模型相當。

研究結論

本研究證明了利用 LLM 將自然語言查詢轉換為結構化搜尋查詢的可行性和準確性，為現有市場推廣平台的進階搜尋功能提供了一種有效且簡化的替代方案。隨著技術的進步，自然語言搜尋將進一步提升資訊檢索過程的易用性和效率。

未來方向

作者計劃在未來微調最新的 Llama 模型，並實現支援否定邏輯和意圖查詢的進階查詢功能，同時保持現有的準確率。

統計資料

在 509 個自然語言查詢中，只有不到 10 個查詢是進階搜尋支援但 LLM 不支援的。
約有 100 個查詢進階搜尋本身也不支援。
Claude 3.5 Sonnet 模型在所有指標上的平均查詢準確率高達 97%。
在所有個別欄位中，只有三個欄位的效能統計數據低於 95%，只有一個欄位低於 90% 的門檻。
對於營收和員工數量的精確匹配，分數分別為 0.997、1.0、1.0 和 0.995，排序依序為營收（下限、上限）和員工數量（下限、上限）。
GPT-3.5-Turbo 的平均得分為 0.933。
Haiku 的平均得分為 0.958。
微調後的 Llama3-8B-Instruct 模型的平均得分為 0.956。

引述

"Generating the search service query directly from the LLM would likely result in problems such as missing semicolons, misplaced fields, and incorrect structure, making execution refinement impractical."
"The most accurate and advanced model tested was Anthropic’s Claude 3.5 Sonnet [3], which showcased a remarkable average query accuracy of 97%."
"Overall, this paper offers a natural language solution for enterprise searches on GTM platforms. We show not only the feasibility but also the extraordinary accuracy of such a solution, overshadowing the original cumbersome advanced search."

從以下內容提煉的關鍵洞見

Leveraging LLMs to Enable Natural Language Search on Go-to-market Platforms

by Jesse Yao, S... 於 arxiv.org 11-11-2024

https://arxiv.org/pdf/2411.05048.pdf

深入探究

如何在保護用戶隱私的同時，利用用戶搜尋歷史數據進一步提升自然語言搜尋的準確性和個性化程度？

在保護用戶隱私的前提下，可以通過以下幾種方式利用用戶搜尋歷史數據提升自然語言搜尋的準確性和個性化程度：

數據脫敏和匿名化: 在收集和儲存用戶搜尋歷史數據時，應去除或匿名化可直接識別個人身份的信息，例如姓名、帳戶名、IP 地址等。可以使用一些技術手段，例如哈希算法、差分隱私等，在保護數據隱私的同時保留數據的統計學特徵。
聯邦學習: 聯邦學習是一種分散式機器學習技術，允許在不共享原始數據的情況下訓練模型。可以利用聯邦學習在用戶設備本地訓練個性化模型，並將模型更新聚合到中央伺服器，從而提升整體模型的準確性和個性化程度，同時保護用戶數據隱私。
差分隱私: 差分隱私是一種通過向數據集中添加噪聲來保護隱私的技術。在自然語言搜尋中，可以將差分隱私應用於用戶搜尋歷史數據，以保護用戶隱私，同時仍然允許模型從數據中學習。
用戶控制和透明度: 為用戶提供對其搜尋歷史數據的控制權，例如允許用戶查看、修改或刪除其搜尋歷史記錄。同時，應透明地告知用戶如何收集、使用和保護其數據。

通過結合以上方法，可以在保護用戶隱私的同時，有效地利用用戶搜尋歷史數據提升自然語言搜尋的準確性和個性化程度。

如果自然語言查詢本身存在歧義，該如何設計系統來識別和處理這種情況，例如通過反問用戶來 уточнити 他們的搜尋意圖？

針對自然語言查詢本身存在歧義的情況，可以通過以下幾種方式設計系統來識別和處理：

歧義檢測: 利用自然語言處理技術，例如詞義消歧、句法分析等，識別查詢中可能存在的歧義詞或短語。可以建立歧義詞典，或利用機器學習模型自動識別潛在的歧義。
反問 уточнити: 當系統檢測到查詢存在歧義時，可以通過反問的方式 уточнити 用戶的搜尋意圖。例如：

提供多個選項: 根據對歧義部分的理解，為用戶提供多個可能的解釋，讓用戶選擇最符合其意圖的選項。
要求用戶確認: 將系統對查詢的理解用簡短的語言概括出來，詢問用戶是否正確，並提供修改查詢的機會。
展示相關搜尋: 根據對歧義詞的理解，展示一些相關的搜尋詞或短語，引導用戶 уточнити 搜尋範圍。

上下文分析: 利用用戶的搜尋歷史、當前位置、瀏覽記錄等上下文信息，輔助系統理解用戶的搜尋意圖，消除歧義。
機器學習模型: 訓練可以理解上下文信息的深度學習模型，例如BERT、GPT等，提升系統對自然語言的理解能力，減少歧義。

通過以上方法的綜合運用，可以有效地識別和處理自然語言查詢中的歧義，提升搜尋結果的準確性和用戶體驗。

自然語言處理技術的進步是否會導致傳統的基於關鍵字的搜尋方式最終被淘汰？

自然語言處理技術的進步的確在很大程度上提升了搜尋引擎的效率和用戶體驗，但這並不意味著傳統的基於關鍵字的搜尋方式會被完全淘汰。
自然語言處理的優勢:

更符合人類的自然表達習慣，降低用戶學習成本。
能夠理解更複雜的語義和上下文信息，提供更精準的搜尋結果。
可以實現問答式搜尋、語音搜尋等更自然的交互方式。
傳統關鍵字搜尋的優勢:

技術成熟穩定，可以處理海量數據。
搜尋結果可控性強，方便用戶快速定位所需信息。
在某些特定場景下，例如專業領域的文獻檢索，關鍵字搜尋仍然具有不可替代的優勢。
未來發展趨勢:
自然語言處理和關鍵字搜尋將長期共存，並相互融合，形成更强大、更智能的搜尋引擎。

自然語言處理技術將不斷完善，提升對自然語言的理解和處理能力，為用戶提供更精準、更便捷的搜尋體驗。
傳統關鍵字搜尋將與自然語言處理技術深度融合，例如利用自然語言處理技術擴展關鍵字、理解關鍵字背后的語義信息等，進一步提升搜尋效率。
總之，自然語言處理技術的進步將推動搜尋引擎向更加智能化的方向發展，但傳統的基於關鍵字的搜尋方式仍将在特定場景下發揮重要作用。兩者將相互補充，共同構建更加完善的搜尋生態系統。