Die Arbeit präsentiert IFSENet, ein semantisches Segmentierungsmodell, das die Stärken der Segmentierung mit wenigen Beispielen und der interaktiven Segmentierung nutzt und deren Schwächen überwindet.
Das Modell besteht aus zwei Hauptpfaden: dem Unterstützungspfad und dem Abfragepfad. Der Unterstützungspfad ähnelt einer interaktiven Segmentierungsarchitektur und verarbeitet die Unterstützungsbilder unter Berücksichtigung von Benutzerklicks, um Segmentierungsmasken für diese Bilder zu erzeugen. Der Abfragepfad nutzt diese Informationen, um auch für unmarkierte Abfragebilder Segmentierungsmasken zu generieren.
Durch iterative Verfeinerung erreicht das Modell Ergebnisse bei der Abfragebildvorhersage, die mit Techniken zur Segmentierung mit wenigen Beispielen vergleichbar sind, ohne dichte Unterstützungsmasken zu benötigen. Gleichzeitig erzielt das Modell bei den Unterstützungsbildern Ergebnisse, die mit dem Stand der Technik bei interaktiver Segmentierung vergleichbar sind.
Die Experimente auf dem Pascal-5i-Datensatz zeigen, dass das Modell mit nur 20 Klicks pro Unterstützungsbild und ohne Klicks auf Abfragebilder vergleichbare Leistung wie vorherige Arbeiten zur Segmentierung mit wenigen Beispielen erzielt. Darüber hinaus übertrifft es den Stand der Technik bei interaktiver Segmentierung auf Trainingsklassen.
翻譯成其他語言
從原文內容
arxiv.org
深入探究