核心概念
大規模言語モデルは研究論文から新しい研究アイデアを生成することができる
摘要
本研究は、大規模言語モデル(LLM)の将来の研究アイデア生成能力を評価することを目的としている。
- 5つの分野(コンピューター科学、経済学、化学、物理学、医学)から最近の論文100本を収集し、著者が提案した将来の研究アイデアを抽出した。
- 4つのLLM(Claude-2、Gemini-1.0、GPT-3.5、GPT-4)を使って、これらの論文から新しい研究アイデアを生成させた。
- 生成されたアイデアと著者のアイデアの整合性を示すIAスコアと、生成アイデアの多様性を示す独自性指数を提案した。
- さらに、コンピューター科学分野の460個の生成アイデアについて、人間による評価(新規性、関連性、実現可能性)を行った。
- 結果として、LLMは一定程度関連性のある、独創的で実現可能な研究アイデアを生成できることが示された。ただし、一般的なアイデアや既存のアイデアも生成されることが明らかになった。
- 今後の課題として、LLMにより新規性の高いアイデアを生成する方法の検討が挙げられる。
统计
研究論文の平均単語数は分野によって7,000~8,000語程度である。
将来の研究の記述の平均単語数は分野によって大きく異なり、コンピューター科学が最も多く、化学が最も少ない。
引用
「アイデアとは、古い要素の新しい組み合わせにすぎない」(Young, 2019)
「誰もが見たものを見て、誰も考えたことのないことを考えること、それが革新である」(Dr. Albert Szent-Györgyi)