Temel Kavramlar
DataInf ist ein effizientes Verfahren zur Approximation des Dateneinflusses, das besonders gut für parametereffiziente Feinabstimmungstechniken wie LoRA geeignet ist.
Özet
In dieser Arbeit stellen die Autoren DataInf vor, ein effizientes Verfahren zur Approximation des Dateneinflusses, das für große Sprachmodelle (LLMs) und Text-zu-Bild-Modelle praktisch anwendbar ist. Der Einfluss einzelner Trainingsdaten auf die Modellvorhersagen ist wichtig, um die Transparenz der KI-Pipeline zu verbessern und Probleme wie fehlerhafte Daten zu erkennen.
Die Autoren zeigen, dass DataInf im Vergleich zu bestehenden Methoden deutlich recheneffizienter ist und den Einfluss genauer approximiert. Dies ist insbesondere für parametereffiziente Feinabstimmungstechniken wie LoRA von Vorteil. Die theoretische Analyse zeigt, dass der Approximationsfehler von DataInf mit der Parametergröße skaliert, was die Eignung für LoRA-fein-abgestimmte Modelle erklärt.
In systematischen Experimenten mit RoBERTa, Llama-2-13B-chat und stable-diffusion-v1.5 Modellen zeigt sich, dass DataInf die einflussreichsten Trainingsdaten besser identifiziert als andere Methoden. Außerdem kann DataInf helfen, fehllabellierte Daten zu erkennen.
İstatistikler
Die Gradienten der Trainingsdaten sind beschränkt.
Der Dämpfungsparameter λl ist beschränkt.
Alıntılar
"Quantifying the impact of training data points is crucial for understanding the outputs of machine learning models and for improving the transparency of the AI pipeline."
"DataInf outperforms existing influence computation algorithms in terms of computational and memory efficiency."
"DataInf accurately approximates influence scores and is orders of magnitude faster than existing methods."