核心概念
本稿では、ニューラルネットワークとTransformerがモジュラー演算を学習する際に、フーリエ回路に基づいた表現を獲得することを理論的・実験的に示しています。
要約
ニューラルネットワークおよびTransformerにおけるフーリエ回路:複数入力におけるモジュラー演算のケーススタディ
本研究は、ニューラルネットワークとTransformerが、複数入力のモジュラー演算を学習する際に、どのようにフーリエ回路に基づいた表現を獲得するかを解明することを目的としています。
本研究では、k個の入力を持つモジュラー加算問題を解決するために、単一隠れ層ニューラルネットワークと単層Transformerを用いました。理論的には、最大マージン原理に基づいて、ネットワークが学習する特徴を分析しました。具体的には、最大L2,k+1マージンを達成するために必要なニューロン数を決定し、各隠れニューロンが特定のフーリエスペクトルとどのように整合するかを示しました。実験的には、さまざまなkの値についてシミュレーション実験を行い、理論的な分析結果を検証しました。