코드 구조 인식 트랜스포머를 이용한 AST 기반 코드 요약 생성

코드 구조 인식 트랜스포머(CSA-Trans)는 코드 구조 임베더(CSE)를 사용하여 추상 구문 트리(AST) 각 노드에 대한 특정 위치 인코딩(PE)을 생성합니다. CSE는 분리된 주의 메커니즘을 사용하여 노드 PE를 생성하며, 자기 주의 기능을 더 확장하기 위해 확률적 블록 모델(SBM) 주의를 채택합니다. 이를 통해 CSA-Trans는 Python과 Java 코드 요약 작업에서 14개의 기준 모델을 능가하며, Java 데이터셋에서 AST-Trans와 SG-Trans에 비해 각각 41.92% 더 빠르고 25.31% 더 메모리 효율적입니다.