透過人工智慧回饋增強學習來提升大型語言模型的中醫能力

核心概念

本文提出了一個框架，透過監督式微調和基於人工智慧回饋的增強學習，利用少量資料來增強大型語言模型處理中醫任務的能力，並透過實驗證明了該框架在中醫診斷和處方任務上的有效性。

摘要

論文概述

本研究論文題為「透過人工智慧回饋增強學習來提升大型語言模型的中醫能力」，探討如何利用少量資料提升大型語言模型在中醫領域的應用。研究者們提出一個結合監督式微調和直接偏好優化的框架，並透過自動標註系統生成偏好數據，有效提升模型在中醫診斷和處方上的準確性。

研究方法

資料收集與處理

研究者收集真實醫案語料庫，包含初診和複診兩種情境，並進行資料清洗和標註。

監督式微調

利用收集到的醫案資料對大型語言模型進行監督式微調，使其初步具備處理中醫任務的能力。

人工智慧回饋增強學習

利用模型生成多個輸出結果，並透過自動標註系統進行評分和排序，生成偏好數據，再利用直接偏好優化演算法對模型進行進一步訓練。

實驗結果

實驗結果顯示，該框架相較於其他模型，包括廣泛使用的 GPT-3.5-turbo，在 ROUGE、BLEU 和 BERT-Score 等評估指標上均有更好的表現。

案例分析

研究者選取一個包含初診和複診的病患案例，展示模型如何根據病患症狀進行診斷和開立處方，並根據後續回診資訊調整治療方案，展現模型在真實醫療情境中的應用潛力。

結論與未來展望

該研究提出了一個可擴展且有效的解決方案，透過結合監督式微調、自動標註和直接偏好優化，提升大型語言模型在中醫領域的應用。未來研究方向包括擴展資料集規模、引入專家標註以及開發新的中醫任務。

統計資料

訓練資料包含 50 個初診案例和 131 個複診案例。
驗證資料包含 7 個初診案例和 19 個複診案例。
測試資料包含 14 個初診案例和 38 個複診案例。
模型訓練使用 1 個 NVIDIA Tesla A40(48GB) 顯示卡。
使用低秩適配 (LoRA) 參數高效微調方法進行訓練。
訓練精度為 bf16（Deepseek 為 fp32）。
學習率為 5e-5，批次大小為 2，梯度累積為 8，最大長度為 1024，dropout 為 0.1。
使用餘弦學習率排程器。
在模型生成多樣化輸出階段，樣本數量 k 設定為 3，溫度設定為 1.2。

引述

"由於中醫的特殊性，醫學領域微調的大型語言模型在全球範圍內發布的主要是針對西醫，並且大多以英文作為主要語言，例如 Google Med-PaLM 系列，這對中醫知識的發現和應用存在一定的局限性，難以滿足中醫的特殊需求。"
"中醫的許多理論和診斷治療方法缺乏統一的量化和客觀標準，無法輕易驗證。"
"中醫並非應用廣泛的學科，相關著作的資訊較少，高質量數據更難以獲取。"

從以下內容提煉的關鍵洞見

Enhancing the Traditional Chinese Medicine Capabilities of Large Language Model through Reinforcement Learning from AI Feedback

by Song Yu, Xia... 於 arxiv.org 11-05-2024

https://arxiv.org/pdf/2411.00897.pdf

深入探究

模型在處理更複雜的中醫案例時，例如涉及多種疾病或需要結合其他診斷方法的情況下，是否依然能夠保持準確性？

目前模型對於處理複雜中醫案例，特別是涉及多種疾病或需結合其他診斷方法的情況，其準確性仍待提升。
原因分析：

數據局限性： 現有訓練數據多為單一病症，缺乏對複雜病案的充分覆蓋，導致模型在面對多病機制交互作用時，難以準確判斷。
診斷推理能力不足： 中醫診斷強調辨證論治，需結合患者個體差異進行綜合分析。模型目前的推理能力有限，難以模擬中醫師的思維過程，尤其在處理複雜案例時，易出現誤判。
缺乏對其他診斷方法的整合： 中醫診斷常結合望、聞、問、切四診，而模型目前主要依賴文本信息，缺乏對舌診、脈診等信息的整合，限制了其診斷的全面性。
未來方向：

構建複雜病案數據集： 收集整理包含多種疾病、合併症、併發症等複雜案例，並標註清晰的診斷依據和治療方案，用於模型訓練。
提升模型診斷推理能力： 引入知識圖譜、圖神經網絡等技術，構建中醫證候、病機、治法方藥之間的關係網絡，增強模型的推理和決策能力。
多模態信息融合： 研究如何將舌象、脈象等信息轉化為模型可理解的數據形式，並與文本信息進行融合，提高模型診斷的準確性。

如何確保模型生成的處方符合中醫倫理和安全性標準，避免產生潛在的醫療風險？

確保模型生成的處方符合中醫倫理和安全性標準至關重要，需採取多方面措施：
1. 數據安全與隱私保護：

去識別化處理： 對訓練數據進行嚴格的去識別化處理，去除患者隱私信息，確保數據安全。
數據使用規範： 制定嚴格的數據使用協議，明確數據使用範圍和目的，防止數據濫用。
2. 模型設計與訓練：

融入中醫倫理原則： 在模型設計中，將中醫倫理原則，如“辨證施治”、“謹慎用藥”等，轉化為可計算的約束條件，指導模型生成符合倫理的處方。
安全性約束： 建立藥物禁忌、配伍禁忌等知識庫，並將其整合到模型中，避免生成存在安全風險的處方。
3. 人工審核與監控：

專家審核機制： 建立專家審核機制，對模型生成的處方進行人工審核，確保其安全性和有效性。
持續監控與反饋： 對模型的使用情況進行持續監控，收集用戶反饋，及時發現並糾正模型存在的問題。
4. 法律法規與倫理規範：

制定相關法律法規： 完善人工智能在醫療領域應用的法律法規，明確責任劃分和監管機制。
制定倫理規範： 制定中醫人工智能倫理規範，引導技術的合理應用，確保患者安全和醫療倫理。

如果將該框架應用於其他專業領域，例如法律或金融，需要進行哪些調整和改進？

將此框架應用於法律或金融等專業領域，需進行以下調整和改進：
1. 數據收集與標註：

領域特定數據： 收集相關領域的專業數據，例如法律案例、金融市場數據等，並進行專業標註。
專家參與： 邀請法律或金融領域專家參與數據標註，確保數據的準確性和專業性。
2. 模型結構與訓練目標：

調整模型結構： 根據領域特點，調整模型結構，例如在法律領域，可引入圖神經網絡處理法律條文之間的邏輯關係。
設定特定目標函數： 根據領域需求，設定特定的訓練目標函數，例如在金融領域，可將投資回報率作為目標函數。
3. 評估指標與倫理考量：

領域特定評估指標： 採用符合領域特點的評估指標，例如在法律領域，可使用案件判決結果的準確率作為評估指標。
倫理風險評估： 對模型應用可能帶來的倫理風險進行評估，例如在金融領域，需關注模型是否會加劇市場波動或造成不公平競爭。
4. 持續學習與更新：

動態更新數據： 持續收集新數據，動態更新模型，確保模型的時效性和準確性。
專家反饋機制： 建立專家反饋機制，根據專家意見對模型進行調整和優化。
總之，將此框架應用於其他專業領域，需要根據具體領域的特點和需求進行調整和改進，才能確保模型的有效性和可靠性。