コード構造を意識したトランスフォーマーによるAST解析

コード構造を意識したトランスフォーマー(CSA-Trans)は、コード構造エンコーダ(CSE)を使ってAST内の各ノードに固有の位置エンコーディングを生成し、ストキャスティックブロックモデル(SBM)アテンションを採用することで、ノード間の関係性を効果的に捉えることができる。