大規模言語モデルを使った多様なモダリティの医療回答生成: WangLabのMEDIQA-M3G 2024への取り組み

WangLabは、MEDIQA-M3G 2024の英語部門で1位と2位を獲得した2つの独立したソリューションを提案しました。1つ目は、Claude 3 OpusAPIを使った2段階のアプローチで、2つ目はCLIPを用いた画像-疾患ラベルの共同埋め込みモデルです。これらのソリューションは、次点の解決策を大きく上回る成績を収めましたが、医療視覚問題回答の難しさを示しており、さらなる改善の余地があります。