מושגי ליבה
最新の大規模言語モデルは、バイオメディカルデータにおける知見発見を促進する可能性がある。
תקציר
導入
AIがバイオメディシンにおける幅広いスペクトラムで活躍していること。
大規模言語モデル(LLMs)の進歩が自然言語タスクで優れた能力を示していること。
LLMsによるバイオ医学テキストデータ
SciBERT、ClinicalBERT、BioBERTなどのモデルが紹介されており、それぞれの特徴や性能が述べられている。
生物学的配列におけるLLMs
Enformer、GenSLMs、DNABERTなどのモデルがDNA配列解析に使用されていること。
多組織シーケンシングデータにおけるLLMs
scBERT、Geneformer、scFoundationなどのモデルが紹介されており、その応用範囲や性能向上が示唆されている。
סטטיסטיקה
SciBERTは4つの評価タスクすべてでBERTを上回っています。
ClinicalBERTは自然言語推論と4つの名前付きエンティティ認識タスクで最先端の結果を示しました。
BioMegatronは全ての検証済み名前付きエンティティ認識と関係抽出ベンチマークで最先端を達成しました。
ציטוטים
"SciFiveは生物医学的質問応答や関係抽出などでBioBERTや一般ドメインT5よりも優れた結果を達成しています。"
"LaBraMは異常検出や感情認識などさまざまな下流タスクで他の最先端手法を圧倒しています。"