本研究提出了一種名為UlcerGPT的新型多模態方法,利用大型語言和視覺模型來轉錄和分析糖尿病足潰瘍(DFU)影像。該方法旨在提高DFU檢測和分類的準確性和效率,從而進一步支持遠程醫療中的臨床醫生。
具體來說,該研究結合了先進的視覺和語言模型,如大型語言和視覺助手(LLaVA)和聊天式生成式預訓練變換器(ChatGPT),提出了一種新的深度學習框架,通過聯合檢測、分類和定位感興趣區域來轉錄DFU影像。
在公開數據集上進行了詳細的實驗,並由專家臨床醫生評估了所提方法的轉錄結果,證明了其在DFU影像轉錄方面的有效性。
實驗結果表明,在臨床準確性、全面性、位置準確性和診斷效用等關鍵指標上,GPT-4o表現最佳,整體平均得分為3.6。Qwen-VL緊隨其後,是表現最好的開源模型,整體得分為3.3。而LLaVA結合的模型則表現較差,整體平均得分分別為2.3、1.6和1.3。這些結果表明,LLaVA的某些版本在準確捕捉DFU描述所需的臨床背景和相關細節方面存在困難。
總的來說,本研究結果表明,大型語言模型在生成臨床相關的DFU描述方面具有潛力,可以為臨床工作提供有價值的輔助工具。通過提供可靠和詳細的DFU影像描述,這些模型可以幫助簡化文檔過程,減輕臨床醫生的工作負擔,並提高電子病歷系統中患者記錄的一致性,從而促進早期檢測和治療的有效分流系統。
Naar een andere taal
vanuit de broninhoud
arxiv.org
Belangrijkste Inzichten Gedestilleerd Uit
by Reza Basiri,... om arxiv.org 10-04-2024
https://arxiv.org/pdf/2410.01989.pdfDiepere vragen