Core Concepts
Durch Wissenstransfer von einer selbstüberwachten Mehrbildrekonstruktion zu einem Einzelbildmodell können die Leistungen bei der Vorhersage der Belegung von Szenen deutlich verbessert werden.
Abstract
Die Arbeit präsentiert einen Ansatz, um die Leistung von Einzelbildrekonstruktionsmodellen durch Wissenstransfer von einem Mehrbildmodell zu verbessern.
Zunächst wird ein neuartiger Mehrbildansatz (MVBTS) entwickelt, der aus mehreren Kamerabildern einer Szene selbstüberwacht eine dichte Darstellung der Szenengeometrie in Form eines Dichtefelds lernt. Dieser Mehrbildansatz erzielt im Vergleich zu bestehenden Methoden bessere Ergebnisse bei der Vorhersage der Belegung, insbesondere in verdeckten Bereichen.
Anschließend wird das Wissen aus dem Mehrbildmodell genutzt, um ein Einzelbildmodell (KDBTS) durch Wissenstransfer zu verbessern. Dazu wird das Einzelbildmodell direkt auf die Vorhersagen des Mehrbildmodells trainiert. Trotz einer kleineren Modellgröße erreicht KDBTS so den Stand der Technik bei der Belegungsvorhersage und übertrifft dabei deutlich das ursprüngliche Einzelbildmodell.
Die Arbeit zeigt, dass der Wissenstransfer von Mehrbildmodellen eine effektive Möglichkeit ist, um die Leistung von Einzelbildrekonstruktionsmodellen zu steigern.
Stats
Die Dichte eines 3D-Punktes x kann durch Aggregation der Dichten aus mehreren Kamerabildern genauer vorhergesagt werden als aus einem einzelnen Bild.
Die Vorhersage der Belegung in verdeckten Bereichen der Szene kann durch Mehrbildinformation deutlich verbessert werden.
Quotes
"Durch Wissenstransfer von einer selbstüberwachten Mehrbildrekonstruktion zu einem Einzelbildmodell können die Leistungen bei der Vorhersage der Belegung von Szenen deutlich verbessert werden."
"KDBTS erreicht trotz kleinerer Modellgröße den Stand der Technik bei der Belegungsvorhersage und übertrifft dabei deutlich das ursprüngliche Einzelbildmodell."