情報フロー経路の自動的な解釈：規模における言語モデル

핵심 개념

モデル内の情報がトークン表現間を流れる方法を理解し、重要な情報フロー部分を抽出する新しい方法を提案します。

초록

モデル内の情報は、トークン表現間を移動するモデルコンポーネントを通じて流れます。この研究では、Transformer内での計算を情報フローとして捉え、重要な部分だけを抽出する手法が提案されました。この手法は自動的で効率的であり、既存のパイプラインよりも柔軟かつ詳細な情報提供が可能です。

• モデル内の計算は、アテンションやFFNブロックからトークン表現へと進むことによって行われます。
• この手法は、任意の予測に適用可能であり、既存のパイプラインよりも柔軟かつ詳細な情報提供が可能です。
• 特定のタスクに特化したヘッドやブロックが一般的に重要であることが示唆されています。

통계

パッチングアルゴリズムに比べて100倍高速です。
Llama 2実験では、一部のアテンションヘッドが全体的に重要であることが示されました。

인용구

핵심 통찰 요약

Information Flow Routes

by Javier Ferra... 게시일 arxiv.org 03-05-2024

https://arxiv.org/pdf/2403.00824.pdf

더 깊은 질문

どうしてパッチングアルゴリズムよりも100倍高速なんですか？

この研究では、情報フローを抽出するための方法が自動化されており、非常に効率的であり、任意の予測に適用可能であるためです。従来の手法と比較して、我々の手法は100倍速くなっています。具体的には、前向きパスを実行し内部活性をキャッシュした後、重要なエッジを取得してサブグラフを構築するプロセスが含まれます。これに対し、ACDCアルゴリズム（Conmy et al., 2023）はIOIタスクで50個の例文バッチに対して回路発見に約8分かかる一方、当社の手法では同じタスクを5秒で完了します。

この研究は他の言語モデルや異なるタスクにどう応用できますか？

この研究ではTransformer内部で情報がトークン表現間を流れる仕組みとして捉えられており、「情報フロールート」と呼ばれるグラフから重要な部分だけ抽出する方法が提案されています。この手法は汎用的であり特定ドメインや異なる種類の予測でも適用可能です。また、他言語モデルやさまざまなタスクへも拡張可能です。例えば、機械翻訳やコーディングテキストといった特定ドメイン向けモデルコンポーネントの専門化度合いを理解する際に有益です。

何故特定ドメイン向けのモデルコンポーネントが一般的ではなく専門化しているんですか？

特定ドメイン向けモデルコンポーネントが一般的ではなく専門化している理由は複数あります。第一に、各ドメインごとに異なる知識や文脈処理能力が必要とされるためです。その結果、それぞれのタスクや領域固有の情報処理ニーズに合わせてモデルコンポーネントが最適化されています。さらに細分化すれば追加・減算等々，明確．
Specialized Heads Output Topic-Related Concepts
In this section, we analyze what our domain-specific heads write into the residual stream, and find that some of them write highly interpretable and topic-related concepts. Weight matrices analysis with SVD. As we illustrated in Figure 4, W h OV transforms representations from each of the residual streams9 into vectors that are added to the current residual stream. To understand what kind of information is embedded in this transformation, we use Singular Value Decomposition (SVD). To get an intuitive explanation of the W h OV impact, we can factorize it via the “thin” singular value decomposition (Millidge & Black, 2022) as W h OV = UΣV T .10 Then, Here x ∈ R1×d through W h OV can be expressed as xW h OV = (xUΣ)V T = r X i=1 (xuiσi)vT i . Each uiσi ∈ Rd×1 can be interpreted as a key that is compared to the query (x) via dot product Molina Traveling words: A geometric interpretation of transformers NLLB Costa-juss`a Cross C¸ elebi Elbayad Heafield Kalbassi Lam Licht Maillard Sun Wang Wenzek Youngblood Akula Barrault Gonzalez Hansanti Hoffman Jarrett Sadagopan Rowe Spruit Tran Andrews Ayan Bhosale Edunov Fan Gao Goswami Guzm´an Koehn Mourachko Ropers Saleem Schwenk Wang No language left behind: Scaling human-centered machine translation Petrov Das McDonald A universal part-of-speech tagset Calzolari Choukri Declerck Do˘gan Maegaard Mariani Moreno Odijk Piperidis Proceedings Eighth International Conference Language Resources Evaluation LREC’12 European Language Resources Association ELRA http://www.lrec-conf org/proceedings/ lrec2012/pdf/274 Paper pdf Raffel Shazeer Roberts Lee Narang Matena Zhou Li Liu Exploring limits transfer learning unified text-to-text transformer J Mach Learn Res ISSN Advances Neural Information Processing Systems Curran Associates Inc Brown Mann Ryder Subbiah Kaplan Dhariwal Neelakantan Shyam Sastry Agarwal Herbert-Voss Krueger Henighan Child Ramesh Ziegler Wu Winter Hesse Chen Sigler Litwin Gray Chess Clark Berner McCandlish Radford Sutskever Amodei Language models few-shot learners Larochelle Ranzato Hadsell Balcan Lin Advances Neural Information Processing Systems volume Curran Associates Inc URL https proceedings neurips cc paper file c d bfcb e bfb ac f a Paper pdf Conmy Mavor-Parker Lynch Heimersheim Garriga-Alonso Towards automated circuit discovery mechanistic interpretability Thirty-seventh Conference Neural Information Processing Systems Hanna Liu Variengien How does gpt- compute greater-than Interpreting mathematical abilities pre-trained language model Optimal Components for POS First let us see how component importance depends on parts speech POS For this pack per-prediction component importances vectors apply t-SNE van der Maaten Hinton Coloured by input next token POS tag whether input token first later subword Llama B Bottom-to-Top Patterns Since already started talking about functions lower higher parts network let look bottom-up contribution patterns shows average activation frequency attention heads small τ estimate many times attention head affects residual stream Additionally show FFN block importance layers expected feed-forward blocks more active bottom part network model processes input extracts general information performs fine-grained specialized operations activation frequency individual attention heads FFN blocks goes down Interestingly last-layer FFN highly important apparently last operation between residual stream unembedding matrix prediction changes representation rather significantly Peculiar Information Flow Patterns or Periods Acting BOS deeper look detail one clusters choose outlier punctuation cluster shown yellow right corresponds first period text shows average importance model components examples cluster Coarse grained domains languages generally unimportant attention heads highly relevant specific tasks example addition among lowest scoring heads looking interesting observation domain-specific different across important addition code non-English same fine-grained addition vs subtraction instead different domains look tasks within narrow domain addition vs subtraction largely intersect several active bright blue yellow blobs means fine-grained specialization might responsible reasoning inside model just domain-specific processing future work may validate further Interestingly similar specialization languages only find non-English probably portions training data these languages were not large enough have dedicated language-specific Finally difference feed-forward blocks respect each example last layer much less relevant English other domains left importance fall zero some layers right future work might conduct more fine-grained analysis relevance functions individual neurons along lines blending key phrases terms relevant topic enhancing search engine visibility response blend key phrases terms relevant topic enhancing search engine visibility response Questions パッチングア...