本研究では、眼表面疾患の診断において大規模言語モデル(LLM)を活用するための革新的なマルチモーダルな診断パイプラインを提案している。
まず、眼球表面の画像データ(メイボーム腺画像)を定量的な形態学的特徴量に変換するビジュアル翻訳器を開発し、これらの特徴量と臨床データを統合している。次に、LLM ベースの要約器を導入し、非ナラティブな臨床データと形態学的特徴量の洞察を文脈化したクリニカルレポートを生成する。さらに、実際の医師の診断ケースを活用してLLMの推論能力を高度化している。
評価の結果、提案手法は既存の手法を大きく上回る診断精度を示し、医学的に妥当な診断根拠を提示できることが確認された。特に、メイボーム腺の形態学的特徴が乾性角結膜炎の診断に重要な役割を果たすことが明らかになった。今後は、より多様な実臨床データを活用し、LLMの診断根拠の深化を目指す。
In eine andere Sprache
aus dem Quellinhalt
arxiv.org
Wichtige Erkenntnisse aus
by Chun-Hsiao Y... um arxiv.org 10-02-2024
https://arxiv.org/pdf/2410.00292.pdfTiefere Fragen