Die Studie präsentiert ein neuartiges Netzwerkdesign, das explizit Konturen, Ecken und Knotenpunkte in Bildern modelliert. Der Kernmechanismus ist die "Boundary Attention", eine konturenbewusste lokale Aufmerksamkeitsoperation, die schrittweise ein Feld von Variablen verfeinert, das eine unrasterte Beschreibung der lokalen Konturstruktur in jedem überlappenden Bildpatch spezifiziert.
Das Modell wird zunächst auf einfachen synthetischen Daten trainiert, die nur Kreise und Dreiecke enthalten. Trotz dieser Einfachheit kann es erstaunlich gut auf reale, verrauschte Fotos verallgemeinern und konsistentere Konturen vorhersagen als andere Methoden, selbst bei hohem Rauschen.
Das Modell hat nur 207.000 trainierbare Parameter und ist deutlich schneller als vergleichbare Optimierungsbasierte Ansätze. Es produziert eine reichhaltige Ausgabe, die neben einer Konturkarte auch eine glättende Farbkarte, eine Distanzkarte und Affinitätskarten zwischen beliebigen Bildpunkten und ihrer Umgebung umfasst.
他の言語に翻訳
原文コンテンツから
arxiv.org
深掘り質問