Die Arbeit untersucht die Stichprobenkomplexität des Metalernens und des Multitask-Lernens.
Für das Multitask-Lernen wird eine allgemeine Charakterisierung der Bedingungen für verteilungsfreies Multitask-Lernen gegeben. Dabei zeigt sich, dass die VC-Dimension der zusammengesetzten Funktionsklasse F⊗t ◦H die entscheidende Größe ist. Für lineare Klassifikatoren über linearen Darstellungen wird die VC-Dimension dieser Klasse genau charakterisiert.
Für das Metalernen wird eine allgemeine Theorie der gleichmäßigen Konvergenz entwickelt. Diese zeigt, dass Metalernen möglich ist, wenn die VC-Dimension der Realisierbarkeits-Prädikate endlich ist und die Nicht-Realisierbarkeits-Zertifikat-Komplexität der Spezialisierungs-Funktionsklasse F klein ist. Für lineare Klassifikatoren über linearen Darstellungen wird gezeigt, dass man mit nur k + 2 Proben pro Aufgabe metalernen kann, was überraschend ist, da man für das Lernen eines guten spezialisierten Klassifikators k + 1 Proben pro Aufgabe bräuchte.
Zusätzlich werden allgemeine Reduktionen zwischen Metalernen und Multitask-Lernen gezeigt, die zu Charakterisierungen des Metalernens in bestimmten Parameterbereichen führen.
To Another Language
from source content
arxiv.org
Key Insights Distilled From
by Maryam Aliak... at arxiv.org 04-02-2024
https://arxiv.org/pdf/2312.13978.pdfDeeper Inquiries