Empirische Erkundung der Grokking-Phänomene jenseits neuronaler Netzwerke

Grokking, ein Phänomen, bei dem Modelle nach anfänglich schlechter Leistung auf dem Validierungssatz plötzlich eine ähnlich gute Leistung wie auf dem Trainingssatz erreichen, tritt nicht nur in neuronalen Netzwerken, sondern auch in anderen Modellklassen wie Gauß-Prozessen und linearen Regressionen auf. Darüber hinaus kann Grokking durch eine Datenerweiterungstechnik, die wir als "Verheimlichung" bezeichnen, induziert werden.