Der Artikel präsentiert Crystalformer, einen Transformer-basierten Encoder für die Modellierung von Kristallstrukturen. Im Gegensatz zu bisherigen Ansätzen, die auf Graphnetzwerken basieren, nutzt Crystalformer eine unendlich verbundene Aufmerksamkeit, um die periodische Struktur von Kristallen effizient zu erfassen.
Die Kernpunkte sind:
Interpretation der unendlich verbundenen Aufmerksamkeit als "neuronale Potentialsummation", bei der die Aufmerksamkeitsgewichte als abstandsabhängige Potenziale modelliert werden. Dies ermöglicht eine effiziente Berechnung der Aufmerksamkeit.
Einführung einer "periodischen räumlichen Codierung" und "periodischen Kantencodierung", um die Periodizität der Kristallstruktur in das Modell zu integrieren.
Vorstellung einer einfachen, aber effektiven Transformer-Architektur namens Crystalformer, die nur 29,4% der Parameter des vorherigen Matformer-Modells benötigt, aber bessere Leistung erzielt.
Empirische Evaluierung auf den Materialdatensätzen Materials Project und JARVIS-DFT, bei der Crystalformer den aktuellen Stand der Technik übertrifft.
Diskussion möglicher Erweiterungen, wie die Einbeziehung von Winkel- und Richtungsinformationen sowie die Nutzung von Aufmerksamkeit im Fourierraum für langreichweitige Interaktionen.
לשפה אחרת
מתוכן המקור
arxiv.org
תובנות מפתח מזוקקות מ:
by Tatsunori Ta... ב- arxiv.org 03-19-2024
https://arxiv.org/pdf/2403.11686.pdfשאלות מעמיקות