深層学習モデルにおけるin-context学習とグラデーション降下法の関係の再検討

in-context学習とグラデーション降下法の間には強い対応関係がないことが示唆される。しかし、レイヤー因果性を考慮したグラデーション降下法の変種は、in-context学習との類似性を高めることができる。