本論文は、大規模言語モデル(LLM)のドメイン固有の知識統合に関する研究を報告している。
まず、化学、生物学、材料科学の3つのドメインにわたる1,280の質問と解答からなるベンチマークデータセットを構築した。これには、小分子の物理化学的性質、酵素の機能属性、結晶材料の構造・エネルギー特性などが含まれる。
次に、従来のプロンプトエンジニアリング手法(ゼロショット、フューショット、エキスパートプロンプト、ゼロショットCoT、フューショットCoT)と、ドメイン知識を組み込んだ新しいプロンプトエンジニアリング手法を比較評価した。その結果、ドメイン知識を組み込んだ手法が、能力、正確性、F1スコア、ホールシネーション低減の各指標で優れた性能を示した。
さらに、代表的な化合物(MacMillan触媒、パクリタキセル、リチウムコバルト酸化物)を用いたケーススタディを通して、ドメイン知識を組み込んだプロンプトエンジニアリングの有効性を実証した。
これらの結果は、ドメイン固有の知識をLLMのプロンプトに組み込むことで、科学分野における LLMの性能を大幅に向上させられることを示している。今後の展望として、ドメイン範囲の拡大、データセットやツールの統合、マルチモーダルプロンプティング、ヒューマンインザループによる洗練などが考えられる。
Egy másik nyelvre
a forrásanyagból
arxiv.org
Mélyebb kérdések