本研究は、in-context学習とグラデーション降下法の対応関係について再検討を行っている。
まず、先行研究で使用されていた評価指標にいくつかの問題点があることを指摘する。特に、正規化されたSimAOUメトリックは、ランダムなベクトルでも高い値を示してしまうことを示す。そのため、新たにSimAM∆メトリックを提案し、これを用いて評価を行う。
次に、訓練されていないモデルでも、訓練済みモデルと同等以上のin-context学習との類似性を示すことを明らかにする。これは、in-context学習とグラデーション降下法の強い対応関係を否定する強い証拠となる。
さらに、in-context学習とグラデーション降下法の間には、レイヤー間の因果性の違いが存在することを指摘する。この問題を解決するため、レイヤー因果性を考慮したグラデーション降下法の変種(LCGD)を提案する。実験の結果、LCGDはSimAM∆において訓練済みモデルを上回り、ランダムモデルに比べても高い値を示すことが分かった。
以上の結果から、in-context学習とグラデーション降下法の強い対応関係は成り立たないことが示唆される。ただし、レイヤー因果性を考慮したグラデーション降下法の変種は、in-context学習との類似性を高められる可能性が示された。今後の課題として、より適切なハイパーパラメータの設定や、in-context学習とグラデーション降下法の対応関係の本質的な理解が挙げられる。
In un'altra lingua
dal contenuto originale
arxiv.org
Approfondimenti chiave tratti da
by Gilad Deutch... alle arxiv.org 04-02-2024
https://arxiv.org/pdf/2311.07772.pdfDomande più approfondite