Główne pojęcia
AIと大規模言語モデルは医療領域での多クラス分類タスクに適していることを示す。
Streszczenie
本文は、大規模な言語モデルを使用して医学科目を区別する方法に焦点を当てています。以下は内容の概要です:
-
導入
- 自動質問応答(QA)が医学試験において重要かつ難しい領域であること。
- AIと深層ニューラルネットワークが医療QAにおける大規模言語モデルの構築に鍵を握っていること。
-
材料と方法
- MedMCQAデータセット:194k以上の高品質なAIIMS&NEET PG入試MCQ、2.4k以上の医療トピック、21の医学科目。
- 大規模言語モデル:文BERTを使用してfine-tuneされたMulti-Question SequenceBERT。
-
結果
- MQ-SequenceBERTが開発セットで5%、テストセットでわずかに最先端技術を上回ったこと。
- 21種類の異なる医学科目間で質問グループを区別する能力を示すt-SNEアプローチ。
-
結論
- 医療領域で自動質問応答用に大規模言語モデルをfine-tuneする方法。
- MedMCQAデータセットで最先端技術を上回り、コンテキスト情報なしで基準評価結果を達成。
Statystyki
BERT Devlin et al. (2019)BAS E: 開発0.35、テスト0.33
BioBERT Lee et al. (2019): 開発0.38、テスト0.37
SciBERT Beltagy et al. (2019): 開発0.39、テスト0.39
PubmedBERT Gu et al. (2020): 開発0.40、テスト0.41
Codex 5-shot CoT Li’evin et al. (2022): 開発0.63、テスト0.60
Cytaty
"MQ-SequenceBERTが開発セットで最先端技術を上回った"
"21種類の異なる医学科目間で質問グループを区別する能力"