本研究では、大規模言語モデル(LLM)を活用した自動採点とフィードバック生成の可能性を探っている。
まず、オープンソースデータセットと独自のデータセットを用いて、LLaMA-2モデルの4ビット量子化バージョンを微調整し、回帰モデルとして活用することで、従来のアプローチを上回る採点精度を実現している。平均3%以下の誤差率を達成し、既存のベースラインモデルを大きく上回る結果を示した。
次に、同様の手法でLLaMA-2モデルを微調整し、生成モデルとしても活用することで、専門家による採点とフィードバックに極めて近い質のフィードバックを生成できることを示した。特に、予測された採点スコアを入力に加えることで、さらにフィードバックの質が向上することが分かった。
これらの結果は、量子化手法を用いてLLMを微調整することで、自動採点やフィードバック生成といった様々なタスクに対して、コストと遅延を抑えつつ高精度なソリューションを提供できる可能性を示唆している。教育分野における活用が期待される。
To Another Language
from source content
arxiv.org
Viktige innsikter hentet fra
by Gloria Ashiy... klokken arxiv.org 05-02-2024
https://arxiv.org/pdf/2405.00602.pdfDypere Spørsmål