Główne pojęcia
大規模言語モデルのファインチューニングにおいて、従来の手法に匹敵する性能を維持しながら、メモリ消費と学習時間を大幅に削減できるパラメータ効率的なファインチューニング手法が注目されている。
Streszczenie
大規模言語モデルのパラメータ効率的なファインチューニング手法に関する調査論文の概要
Lialin, V., Deshpande, V., Yao, X., & Rumshisky, A. (2024). Scaling Down to Scale Up: A Guide to Parameter-Efficient Fine-Tuning. arXiv preprint arXiv:2303.15647v2.
本論文は、大規模言語モデル(LLM)のファインチューニングにおける課題である、計算コストの増大とメモリ消費量の増大に対処するため、パラメータ効率的なファインチューニング(PEFT)手法の包括的な調査と比較分析を行うことを目的とする。