Temel Kavramlar
大規模言語モデルを用いて、必要に応じて関連文書を検索し、生成された説明を自己評価することで、生物医学分野における推論能力を向上させる。
Özet
本論文では、Self-BioRAGフレームワークを提案している。このフレームワークは、Self-RAG(Asai et al., 2023)を生物医学および臨床分野の指示に一般化したものである。このフレームワークは、生成能力を向上させ、必要に応じて事実的な内容を検索し、生成された説明を自己評価することができる。
具体的には以下の4つのコンポーネントから構成される:
生物医学の指示セット: 120,000件の生物医学および臨床分野の指示セットを収集・生成した。
生物医学リトリーバー: MedCPTリトリーバーを使用し、PubMed、PMC、診療ガイドライン、医学教科書などの生物医学コーパスから関連文書を検索する。
自己反省言語モデル(批判言語モデル): 5,000件の指示セットを用いて、4種類の反省トークンを予測する批判言語モデルを訓練した。
ドメイン特化型指示チューニング言語モデル(生成言語モデル): 批判言語モデルで注釈付けされた84,000件の指示セットを用いて、生成言語モデルを訓練した。
実験の結果、Self-BioRAGは、3つの生物医学ベンチマークデータセット(MedQA、MedMCQA、MMLU-Med)において、パラメータサイズ7B以下の最先端オープンファウンデーションモデルと比較して平均7.2%の絶対的な性能向上を達成した。また、長文QAベンチマークでも、RAGを8%のRouge-1スコアで上回る高性能な回答を生成することができた。全体として、Self-BioRAGは質問の手がかりを見つけ、必要に応じて関連文書を検索し、検索された証拠と符号化された知識を使って医療専門家のように回答することができる。
İstatistikler
患者の家族歴にType 2糖尿病がある。
患者の血糖値は2時間後に160 mg/dL (8.9 mmol/L)であった。
患者はPCOSの典型的な症状である肥満、にきび、多毛を示している。
Alıntılar
"BRCA1およびBRCA2遺伝子変異は、乳がんおよび卵巣がんのリスクを高める。"
"PCOSの特徴的な特徴の1つは、耐糖能障害である。"