Core Concepts
Generative AI outcomes are Nash equilibria of a non-potential game.
Abstract
この記事では、浅いおよび深いニューラルネットワークの漸近的結果が、経済時系列を生成するために使用されるBloombergGPTなどのモデルで見られるナッシュ均衡であることが示されています。また、これらの均衡に収束する深層ニューラルネットワークアルゴリズムが設計および分析されています。さらに、地域サーバーとオンデバイスクライアント間のフェデレーテッド深層ニューラルネットワークやエンコーダーデコーダー関連トランスフォーマーを含む大規模言語モデル背後の変分不等式も確立されています。
Stats
40種類の活性化関数がγ-平均化されていることが述べられている。
ニューラルネットワークの訓練問題は変分不等式として表現されている。
ゲーム理論的な視点からニューラルネットワークの漸近的結果がナッシュ均衡であることが示唆されている。
Quotes
The asymptotic outcomes of the deep neural network are exactly the Nash equilibria of a non-zero sum game.
Our contribution can be summarized as follows. Our first goal is to look at what is inside the designed boxes of deep neural network architectures from an asymptotic analysis perspective.
We connect the Nash equilibria and the Stackelberg solution of the corresponding game.