Effiziente Codezusammenfassung mit Code-Struktur-bewusster Transformer-Architektur
CSA-Trans, eine Transformer-Architektur für Quellcode, verwendet einen Code-Struktur-Embedder (CSE), um kontextspezifische Positionscodierung für jeden Knoten im abstrakten Syntaxbaum (AST) zu generieren. Durch die Verwendung von Stochastic Block Model (SBM) Aufmerksamkeit kann CSA-Trans die Beziehungen zwischen AST-Knoten effektiver lernen und so die Leistung bei Codezusammenfassungsaufgaben für Python und Java verbessern.
Können Große Sprachmodelle Parallelen Code schreiben?
Große Sprachmodelle haben Schwierigkeiten, komplexen parallelen Code zu generieren, insbesondere für verteilte Speichermodelle und unstrukturierte Probleme.
Eine umfassende Untersuchung zu Urheberrechtsverletzungen bei Lizenzen in Trainingsdatensätzen für Große Sprachmodelle
Die Trainingsdatensätze für Große Sprachmodelle enthalten trotz Bemühungen um die Verwendung von nur lizenzfreien Daten erhebliche Mengen an Code unter starken Copyleft-Lizenzen, was rechtliche Risiken birgt.
