Connexion
Idée - パラメータ効率の高いファインチューニング
パラメータ効率の高いファインチューニングのための単純なベースライン：顕著なチャンネルを利用する
事前学習したビジョントランスフォーマーをさまざまな下流タスクに適用する際、タスク固有の情報を活用することで、パラメータ数を大幅に削減しつつ高い性能を達成できる。
パラメータ効率の高いファインチューニングのための勝利チケットを見つける Random Masking
Random Maskingは、標準的なPEFTアルゴリズムと同等のパフォーマンスを、大幅に少ないトレーナブルパラメータ数で達成できる。
パラメータ効率の高い離散フーリエ変換を用いたファインチューニング
大規模基盤モデルのファインチューニングにおいて、離散フーリエ変換を用いることで、パラメータ数を大幅に削減しつつ、同等以上の性能を達成できる。
Produits | Ressources
© 2024 by Linnk AI