核心概念
リソース制限環境下では、事前学習済みトランスフォーマーバックボーンを使ってクラシフィケーションヘッドをファインチューニングすることが一般的だが、MLPヘッドは固定の非線形性のため、事前学習モデルが生成する文脈的埋め込みの微妙な特徴を十分に捉えられない。一方、FourierKAN(FR-KAN)は、MLPに比べて高い精度と効率性を示す。
要約
本研究では、リソース制限環境下におけるテキスト分類タスクのためのクラシフィケーションヘッドとしてKANおよびその変種であるFourierKAN(FR-KAN)の有効性を検証した。
- 7つの事前学習済みトランスフォーマーモデルと4つのテキスト分類タスクを使った実験の結果、FR-KANはMLPに比べて平均10%の精度向上と11%のF1スコア向上を示した。
- FR-KANはMLPよりも計算効率が高く、パラメータ数も少ない。
- これらの結果は、FR-KANが軽量なクラシフィケーションヘッドとして活用できる可能性を示唆しており、他の自然言語処理タスクへの応用にも期待がかかる。
統計
事前学習済みトランスフォーマーモデルを使ったテキスト分類タスクでは、FR-KANヘッドがMLPヘッドに比べて平均10%の精度向上と11%のF1スコア向上を示した。
FR-KANヘッドはMLPヘッドと同程度の計算時間で学習でき、パラメータ数も同等かそれ以下であった。
引用
"リソース制限環境下では、事前学習済みトランスフォーマーバックボーンを使ってクラシフィケーションヘッドをファインチューニングすることが一般的だが、MLPヘッドは固定の非線形性のため、事前学習モデルが生成する文脈的埋め込みの微妙な特徴を十分に捉えられない。"
"FR-KANはMLPに比べて高い精度と効率性を示す。"