パラメータ効率の高いファインチューニング

insight - パラメータ効率の高いファインチューニング

事前学習したビジョントランスフォーマーをさまざまな下流タスクに適用する際、タスク固有の情報を活用することで、パラメータ数を大幅に削減しつつ高い性能を達成できる。

Random Maskingは、標準的なPEFTアルゴリズムと同等のパフォーマンスを、大幅に少ないトレーナブルパラメータ数で達成できる。

大規模基盤モデルのファインチューニングにおいて、離散フーリエ変換を用いることで、パラメータ数を大幅に削減しつつ、同等以上の性能を達成できる。

About

Products | Resources

Insights