核心概念
LLMと構造化テキスト解析手法を組み合わせた新しい情報検索システムを導入し、HCI文献からの実験データ抽出を強調しつつ、LLMの使用における課題と危険性を分析する。
要約
本研究は、HCI研究における文献レビュープロセスの効率的かつ正確な情報抽出の重要性に着目し、最新のLarge Language Models (LLMs)と構造化テキスト解析手法を組み合わせた新しい情報検索システムを提案している。
具体的には以下の通り:
- GPT-3.5とLlama-2-70bの2つの大規模言語モデルを使用し、CHI 2020-2022の300本の論文データを対象に性能評価を行った。
- GPT-3.5モデルは58%の精度と7.00の平均絶対誤差を示し、Llama2モデルは56%の精度と7.63の平均絶対誤差であった。
- 抽出した情報を基に質問に答える機能も実装し、効率的なデータ活用を可能にした。
- LLMの利用における課題と機会を評価し、HCIデータ解析におけるメソドロジーの妥当性と倫理的ガイドラインの確立に貢献している。
統計
実験参加者数は平均で58人であった。
実験参加者の募集方法は、多くの場合SNSやメーリングリストを通じて行われていた。
実験課題の数は平均で5.2個であった。
実験の種類は、ユーザスタディ、インタビュー、実験室実験、オンラインサーベイなど多岐にわたっていた。
実験変数は、独立変数、従属変数、制御変数など複雑に設計されていた。
実験試行数は平均で15.7回であった。
引用
"LLMを用いた情報検索システムは、HCI研究における文献レビューの効率化と正確性の向上に貢献する。"
"LLMの利用における課題と機会の評価は、HCIデータ解析のメソドロジーと倫理的ガイドラインの確立に重要である。"