Core Concepts
パラメータ効率の高い準直交微調整手法qGOFTを提案し、従来の直交微調整手法OFTの問題点を解決する。qGOFTは、Givens回転を用いてパラメータ数を削減しつつ、微調整時の角度と重みの柔軟な調整を可能にする。
Abstract
本論文は、パラメータ効率の高い直交微調整手法を提案している。
従来の直交微調整手法OFTは、パラメータ数がO(d^2)と多く、また微調整時の角度と重みの調整が制限されるという問題がある。
本論文では、Givens回転を用いたGOFT手法を提案し、パラメータ数をO(d)に削減しつつ、OFTと同等の表現力を実現する。
さらに、準Givens回転を導入したqGOFT手法を提案し、角度と重みの柔軟な調整を可能にする。これにより、微調整時の意味的シフトにも適応できるようになる。
様々なタスクとモデルで実験を行い、提案手法の有効性を示している。特に、言語理解タスクやインストラクション理解タスクで優れた性能を発揮している。