CSA-Trans, eine Transformer-Architektur für Quellcode, verwendet einen Code-Struktur-Embedder (CSE), um kontextspezifische Positionscodierung für jeden Knoten im abstrakten Syntaxbaum (AST) zu generieren. Durch die Verwendung von Stochastic Block Model (SBM) Aufmerksamkeit kann CSA-Trans die Beziehungen zwischen AST-Knoten effektiver lernen und so die Leistung bei Codezusammenfassungsaufgaben für Python und Java verbessern.
Große Sprachmodelle haben Schwierigkeiten, komplexen parallelen Code zu generieren, insbesondere für verteilte Speichermodelle und unstrukturierte Probleme.
Die Trainingsdatensätze für Große Sprachmodelle enthalten trotz Bemühungen um die Verwendung von nur lizenzfreien Daten erhebliche Mengen an Code unter starken Copyleft-Lizenzen, was rechtliche Risiken birgt.