核心概念
大規模言語モデルを用いたクエリ生成は、系統的レビューの自動化に有望であるが、再現性と汎用性に課題があり、さらなる研究が必要である。
要約
大規模言語モデルを用いたクエリ生成:再現性と汎用性に関する研究
本稿は、系統的レビュー(SLR)におけるクエリ生成に大規模言語モデル(LLM)を用いることの有効性、再現性、汎用性について検証した研究論文を要約したものです。
SLRは、医療分野におけるエビデンスに基づいた意思決定に不可欠な要素です。しかし、SLRの実施には、関連文献の検索やスクリーニングなど、時間と労力を要する作業が伴います。近年、ChatGPTなどのLLMの登場により、これらの作業を自動化できる可能性が出てきました。
本研究では、LLMを用いたBooleanクエリ生成の再現性と汎用性を検証することを目的としました。具体的には、Wangら(2023)とAlanizら(2024)の研究を再現し、ChatGPTを用いたクエリ生成の結果が再現可能かつ信頼できるものであるかどうか、また、オープンソースのLLMがクエリ生成においてGPTモデルと比較してどの程度のパフォーマンスを示すかを調査しました。