トランスフォーマーの置換等価性とその応用

トランスフォーマーモデルは、入力トークンの順序に依存せずに出力を生成できる置換等価性を持つことを示した。この性質は順伝播だけでなく逆伝播にも成り立ち、モデルの学習にも影響しない。この性質を利用して、プライバシー保護分散学習や不正利用防止のための暗号化など、幅広い応用が期待できる。