核心概念
学生からのフィードバックを用いて大規模言語モデルを学習することで、学生の学習効果を高める記憶術を自動生成できる。
要約
学生からのフィードバックと大規模言語モデルを組み合わせた記憶術学習アプリ「SMART」:記憶に残る語呂合わせ学習の実現に向けて
本論文は、学生からのフィードバックを用いて大規模言語モデル(LLM)を学習し、効果的な記憶術を自動生成するシステム「SMART」を提案しています。
本研究は、学生が新しい単語を学習する際に役立つ記憶術をLLMを用いて自動生成することを目的としています。従来の記憶術生成システムは、学生が好む記憶術や学習効果を高める記憶術を考慮していませんでした。そこで本研究では、学生からのフィードバックを収集し、LLMの学習に活用することで、学生にとってより効果的で好ましい記憶術を生成することを目指しました。
データ収集: まず、ユーザーが作成した記憶術を投稿・評価できるウェブサイト「MnemonicDictionary」から、GREの単語と対応する記憶術のデータセットを収集しました。
高品質な記憶術の選別: 収集したデータセットから、ユーザーからの評価に基づいて高品質な記憶術を選別し、LLMのファインチューニングに利用しました。
初期モデルの学習: ファインチューニングされたLLMを用いて、初期のSMARTモデルを構築しました。
学生からのフィードバック収集: 学生を対象に、単語学習アプリを用いたユーザー調査を実施し、表示された記憶術に対するペアワイズ比較、5段階評価、学習時間(単語の定義を正答するまでに要した時間)の3種類のフィードバックを収集しました。
記憶術の効果の学習: 収集した3種類のフィードバックを統合し、ベイズモデルを用いて各記憶術の効果を推定しました。
SMARTモデルの学習: 推定された記憶術の効果に基づいて、Direct Preference Optimization (DPO)を用いてSMARTモデルを学習しました。