Die Arbeit befasst sich mit der Lösung von ℓ0-beschränkten Optimierungsproblemen mithilfe von Zeroth-Order Optimierung. Der Hauptbeitrag ist die Entwicklung eines neuen Algorithmus namens SZOHT, der eine Zeroth-Order Gradientenschätzung mit dem Hard-Thresholding-Operator kombiniert.
Die Autoren beginnen mit einer Einführung in das Problem der ℓ0-beschränkten Optimierung und erläutern, warum Zeroth-Order Methoden in vielen Anwendungen von Interesse sind, wenn Gradienteninformationen nicht verfügbar oder zu teuer zu berechnen sind. Sie diskutieren dann bestehende Arbeiten zu Zeroth-Order Optimierung mit konvexen Relaxationen, die jedoch nicht direkt auf das ℓ0-beschränkte Problem anwendbar sind.
Der Kern des Beitrags ist die Entwicklung des SZOHT-Algorithmus, der eine neuartige Zeroth-Order Gradientenschätzung verwendet, die auf zufälliger Unterstützungsabtastung basiert. Die Autoren analysieren die Konvergenz von SZOHT unter den üblichen Annahmen der beschränkten starken Glattheit (RSS) und der beschränkten starken Konvexität (RSC). Ein wichtiger Aspekt ist hierbei, dass die Autoren einen Konflikt zwischen der Genauigkeit der Zeroth-Order Schätzung und der Expansivität des Hard-Thresholding-Operators aufzeigen und daher eine Mindestanzahl an zufälligen Richtungen q angeben müssen, um die Konvergenz zu gewährleisten.
Die Autoren zeigen, dass SZOHT im glatten Fall eine dimensionsunabhängige Abfragekomplexität erreichen kann, was im Gegensatz zu den meisten anderen Zeroth-Order Algorithmen steht. Im allgemeineren RSS-Fall ist die Komplexität schwach dimensionsabhängig und hängt von der Konditionszahl der Funktion ab.
Schließlich demonstrieren die Autoren die Leistungsfähigkeit von SZOHT anhand von Experimenten in den Bereichen Portfolio-Optimierung und adversarielle Angriffe, wo SZOHT mit dem Stand der Technik vergleichbare oder bessere Ergebnisse erzielt.
Sang ngôn ngữ khác
từ nội dung nguồn
arxiv.org
Thông tin chi tiết chính được chắt lọc từ
by William de V... lúc arxiv.org 03-19-2024
https://arxiv.org/pdf/2210.05279.pdfYêu cầu sâu hơn