Основні поняття
Die Eigenwerteverteilung und die statistischen Eigenschaften der Gram-Matrix von Datensätzen können durch ein einfaches Wishart-Modell mit einer Toeplitz-Kovarianzstruktur gut beschrieben werden. Dieser Ansatz ermöglicht ein tieferes Verständnis der Skalierungsgesetze und der Generalisierungsfähigkeit neuronaler Netzwerke.
Анотація
Die Studie untersucht die universellen Eigenschaften, die sowohl in realen als auch in künstlich generierten komplexen Datensätzen auftreten. Der Ansatz besteht darin, Daten mit einem physikalischen System zu analogisieren und Werkzeuge aus der statistischen Physik und der Zufallsmatrixtheorie (RMT) zu verwenden, um ihre zugrunde liegende Struktur aufzudecken. Der Fokus liegt auf der Feature-Feature-Kovarianzmatrix, deren lokale und globale Eigenwertestatistik analysiert wird.
Die Hauptbeobachtungen sind:
- Die Skalierung der Eigenwerteverteilung des Bulk unterscheidet sich stark zwischen unkorrelierten normalverteilten Daten und Realdaten.
- Dieses Skalierungsverhalten kann vollständig durch die Erzeugung von Gaußschen Daten mit Langzeitkorrelationen modelliert werden.
- Sowohl generierte als auch Realdatensätze gehören aus Sicht der RMT zur gleichen Universalitätsklasse chaotischer Systeme.
- Das erwartete RMT-Verhalten manifestiert sich bereits bei Datensatzgrößen, die deutlich kleiner sind als die üblicherweise für Realdaten verwendeten.
- Die Shannon-Entropie korreliert mit der lokalen RMT-Struktur und der Skalierung der Eigenwerte und ist in stark korrelierten Datensätzen deutlich geringer als in unkorrelierten.
Diese Erkenntnisse zeigen, dass die Gram-Matrix von Bilddatensätzen bei ausreichender Stichprobengröße gut durch eine Wishart-Zufallsmatrix mit einfacher Kovarianzstruktur approximiert werden kann. Dies eröffnet den Weg für rigorose Untersuchungen der Dynamik und Generalisierungsfähigkeit neuronaler Netzwerke, die auf der Gram-Matrix der Daten basieren.
Статистика
Die Eigenwerteverteilung der Gram-Matrix skaliert als Potenzgesetz λi ∝ i^(-1-α), wobei der Exponent α von der Stärke der Korrelationen in der zugrunde liegenden Populationsmatrix abhängt.
Die Bulk-Eigenwerteverteilung und die Nächste-Nachbar-Abstände folgen den universellen Vorhersagen der Zufallsmatrixtheorie für chaotische Systeme.
Die effektive Konvergenz der empirischen Kovarianzmatrix als Funktion der Stichprobengröße korreliert mit der entsprechenden RMT-Beschreibung, die eine gute Beschreibung der Statistik und der Skalierung der Eigenwerte wird.
Die Shannon-Entropie ist mit der lokalen RMT-Struktur und der Skalierung der Eigenwerte korreliert und ist in stark korrelierten Datensätzen deutlich geringer als in unkorrelierten.
Цитати
"Die Eigenwerteverteilung der Gram-Matrix für verschiedene Datensätze, sowohl reale als auch künstlich generierte, skaliert als Potenzgesetz λi ∝ i^(-1-α)."
"Sowohl generierte als auch Realdatensätze gehören aus Sicht der RMT zur gleichen Universalitätsklasse chaotischer Systeme."
"Die effektive Konvergenz der empirischen Kovarianzmatrix als Funktion der Stichprobengröße korreliert mit der entsprechenden RMT-Beschreibung, die eine gute Beschreibung der Statistik und der Skalierung der Eigenwerte wird."