言語モデルの能力と限界に関する理論 - プロンプティングとプレフィックス微調整の有効性と課題

プロンプティングやプレフィックス微調整は、パラメータ数の少ない効率的な微調整手法として注目されているが、内部計算への影響と表現力の限界が明らかになった。