利用檢索增強生成技術提升大學知識檢索效率

Belangrijkste concepten

本文提出了一種基於檢索增強生成（RAG）和大型語言模型（LLM）的創新方法，通過從大學網頁中提取數據並結合先進的提示工程技術，構建了一個能夠準確回答大學相關問題的問答系統。

Samenvatting

研究目標
本研究旨在開發一種基於檢索增強生成（RAG）技術的問答系統，以提升大學相關知識的檢索效率，並解決大型語言模型（LLM）在處理本地化數據時面臨的挑戰。
方法

從大學官網中系統地提取數據，構建了一個名為「UniversityQuestionBench (UQB)」的大學基準數據集。
採用雙階段 RAG 方法，結合波斯語大型語言模型（PLM）和先進的提示工程技術，開發了一個問答系統。
首先，系統會對查詢進行分類，以識別最相關的文檔。
然後，系統會使用適當的 LLM 生成準確且與上下文相關的答案。
使用 RAGAS 評估指標（包括忠實度、答案相關性和上下文相關性）對系統進行評估。
主要發現

實驗結果表明，該系統在生成答案的準確性和相關性方面有顯著提高，提升了用戶體驗，並減少了獲取相關答案所需的時間。
與其他模型和嵌入技術相比，使用 Dorna 模型和 Dorna 嵌入技術的系統在忠實度、答案相關性和上下文相關性方面均取得了最佳性能。
主要結論

本研究提出了一種基於 RAG 和 LLM 的新型應用，並通過精心準備的大學基準數據集，為學術數據檢索提供了有價值的見解，為該領域的未來研究奠定了基礎。
結合 RAG 技術和本地化數據集的 LLM 在處理特定領域問題方面具有巨大潛力。
意義
本研究為提升大學信息系統的效率和準確性提供了一種新的思路，並為開發更智能、更人性化的教育工具奠定了基礎。
局限性和未來研究方向

未來可以進一步擴展數據集的多樣性，納入更多樣化的問題和答案，以提高模型在更廣泛學術主題和背景下的穩健性。
可以考慮整合來自多所大學的數據，以增強數據集的泛化性和通用性。
建議將數據集與課程選擇部門進行整合，以便實時更新，確保數據集的時效性和準確性。

Statistieken

使用 Dorna 模型和 Dorna 嵌入技術的系統在忠實度方面達到了 0.839。
使用 Dorna 模型和 Dorna 嵌入技術的系統在答案相關性方面達到了 0.823。
使用 Dorna 模型和 Dorna 嵌入技術的系統在上下文相關性方面達到了 0.216。

Belangrijkste Inzichten Gedestilleerd Uit

Leveraging Retrieval-Augmented Generation for University Knowledge Retrieval

by Arshia Hemma... om arxiv.org 11-12-2024

https://arxiv.org/pdf/2411.06237.pdf

Diepere vragen

該系統如何應對大學官網數據更新不及時的問題？

雖然本研究提出的問答系統展現了良好的效能，但大學官網數據更新不及時確實是一個需要解決的挑戰。以下是一些應對策略：

建立自動化數據更新機制： 可以開發爬蟲程式，定期自動抓取大學官網的最新數據，並更新至 UQB 數據集和系統索引中。可以設定每日或每週的自動更新頻率，確保系統數據的時效性。
與大學資訊系統整合： 可以與大學的學生資訊系統、課程管理系統等進行整合，直接獲取最新的課程資訊、選課規定等數據，避免依賴官網更新。
提供用戶回饋機制： 鼓勵學生在使用系統時提供回饋，例如標記過時或錯誤的資訊。系統可以收集這些回饋，並及時更新數據或提醒管理員進行修正。
結合即時資訊檢索： 對於時效性要求較高的問題，可以考慮結合網路搜尋引擎或大學官網的搜尋功能，在系統回答的基礎上，提供最新的相關資訊連結，供用戶參考。

透過以上方法，可以有效應對大學官網數據更新不及時的問題，提升系統回答的準確性和可靠性。

如果學生提出的問題超出了 UQB 數據集的範圍，該系統將如何處理？

當學生提出的問題超出 UQB 數據集範圍時，系統需要採用一些策略來應對，避免無法提供有效資訊或產生誤導性回答。以下是一些可行的處理方式：

偵測問題範圍外的情況： 系統可以透過分析問題與 UQB 數據集的相似度，判斷問題是否超出範圍。例如，可以計算問題與數據集中所有問題的詞向量距離，如果距離過大，則可能表示問題超出範圍。
提供相關資訊或建議： 當偵測到問題超出範圍時，系統可以：

告知用戶問題超出系統知識範圍， 並建議用戶嘗試其他資訊來源，例如大學官網、相關科系網站、圖書館資源等。
提供與問題關鍵字相關的數據集內資訊， 引導用戶縮小問題範圍或尋找相關資訊。
記錄問題並轉交人工客服， 由人工客服提供更精準的解答或協助。

持續擴充數據集： 系統應持續收集和分析學生提出的問題，將超出範圍的問題和答案加入 UQB 數據集中，不斷擴充系統的知識庫，提升應對能力。

透過以上方法，系統可以更智慧地處理超出數據集範圍的問題，提升用戶體驗，並為用戶提供更全面的資訊服務。

如何將該系統與其他教育資源（例如圖書館目錄、學習管理系統）進行整合，以提供更全面的知識檢索服務？

將該系統與其他教育資源整合，可以打破資訊孤島，為學生提供更全面的知識檢索服務。以下是一些整合方式：

建立統一的搜尋入口： 開發一個整合平台，讓學生可以透過單一搜尋框，同時查詢 UQB 數據集、圖書館目錄、學習管理系統等多個資料來源。
使用 API 介面交換數據： 系統可以透過 API 介面，與其他教育資源系統進行數據交換，例如獲取圖書館的最新館藏資訊、學習管理系統的課程資料等，並將這些資訊整合到系統的知識庫中。
建立知識圖譜： 可以將 UQB 數據集、圖書館目錄、學習管理系統等多個資料來源的資訊，整合到一個知識圖譜中，並利用圖譜技術進行關聯分析和推理，為學生提供更精準和個性化的知識推薦服務。
開發單一登入功能： 整合各個教育資源系統的帳號體系，讓學生可以使用單一帳號登入所有系統，提升使用便利性。

透過以上整合方式，可以將該系統打造成一個功能強大的知識檢索平台，為學生提供一站式的學習資訊服務，提升學習效率和體驗。