テキスト分類ヘッドファインチューニングにおいて、FourierKANがMLPを上回る性能を示す

リソース制限環境下では、事前学習済みトランスフォーマーバックボーンを使ってクラシフィケーションヘッドをファインチューニングすることが一般的だが、MLPヘッドは固定の非線形性のため、事前学習モデルが生成する文脈的埋め込みの微妙な特徴を十分に捉えられない。一方、FourierKAN(FR-KAN)は、MLPに比べて高い精度と効率性を示す。