Hochleistungs-Nano-Drohnen-zu-Nano-Drohnen-Relativpositionsbestimmung mit an Bord befindlichen vollständig konvolutionalen Netzwerken

Core Concepts

Ein neuartiges vollständig konvolutionales neuronales Netzwerk (FCNN) ermöglicht eine hochpräzise Relativpositionsbestimmung zwischen Nano-Drohnen unter Verwendung einer einfachen Graustufen-Kamera und eines leistungsschwachen Prozessors an Bord.

Abstract

Das Papier präsentiert ein vertikales System zur Relativpositionsbestimmung zwischen Nano-Drohnen, das auf einem neuartigen FCNN-Modell basiert. Das FCNN nimmt ein 160x160 Pixel Graustufenbild auf und gibt drei 20x20 Pixel Karten aus: eine Karte für die Position der Ziel-Drohne im Bildraum, eine Karte für deren Entfernung und eine Karte für den Zustand ihrer LED.
Das FCNN-Modell wurde speziell für die begrenzten Ressourcen einer Crazyflie Nano-Drohne mit dem GWT GAP8 System-on-Chip entwickelt. Es erzielt eine Inferenzrate von 39 Hz bei einem Leistungsverbrauch von nur 101 mW. Im Vergleich zu drei State-of-the-Art-Ansätzen erreicht das FCNN-Modell deutlich bessere Regressionsergebnisse auf einem Testdatensatz von 30.000 Bildern.
In Feldtests zeigt das System eine um 37% geringere durchschnittliche Positionsabweichung im Vergleich zum besten Referenzansatz. Darüber hinaus kann es die Ziel-Drohne über die gesamte Batterielaufzeit von 4 Minuten kontinuierlich verfolgen und beweist Generalisierungsfähigkeit in drei neuen, unbekannten Umgebungen.

Stats

Die Lösung erzielt einen R2-Wert von 0,48 über die drei Ausgabegrößen, während der beste Referenzansatz nur 0,3 erreicht.
Die Inferenzrate des FCNN-Modells auf dem GAP8-Chip beträgt 39 Bilder pro Sekunde bei einem Leistungsverbrauch von 101 mW.
Im Feldtest reduziert das FCNN-Modell den durchschnittlichen Positionsfehler um 37%, 52% und 23% auf den x-, y- und z-Koordinaten im Vergleich zum Referenzansatz.

Quotes

"Unsere FCNN kann die Ziel-Drohne für die gesamte Batterielaufzeit von 4 Minuten kontinuierlich verfolgen."
"Das FCNN-Modell zeigt bemerkenswerte Generalisierungsfähigkeiten, indem es die Ziel-Drohne auch in drei zuvor unbekannten Umgebungen kontinuierlich verfolgt."

Key Insights Distilled From

High-throughput Visual Nano-drone to Nano-drone Relative Localization using Onboard Fully Convolutional Networks

by Luca Crupi,A... at arxiv.org 04-03-2024

https://arxiv.org/pdf/2402.13756.pdf

Deeper Inquiries

Wie könnte das FCNN-Modell weiter optimiert werden, um eine noch höhere Inferenzrate und Energieeffizienz zu erreichen

Um die Inferenzrate und Energieeffizienz des FCNN-Modells weiter zu optimieren, könnten mehrere Ansätze verfolgt werden:

Quantisierung und Komprimierung: Durch die Anwendung von noch aggressiverer Quantisierungstechniken, wie binäre oder ternäre Netze, könnte die Anzahl der benötigten Operationen weiter reduziert werden, was zu einer höheren Inferenzrate führen würde.

Pruning und Sparse-Modelle: Durch das Entfernen von nicht wesentlichen Verbindungen im neuronalen Netzwerk könnte die Modellgröße reduziert werden, was wiederum die Energieeffizienz verbessern würde, da weniger Berechnungen erforderlich wären.

Hardware-Optimierung: Eine Anpassung der Hardwarearchitektur des SoC, um speziell auf die Anforderungen des FCNN zugeschnitten zu sein, könnte die Effizienz weiter steigern. Dies könnte die Implementierung von spezialisierten Beschleunigern oder Rechenblöcken umfassen.

Welche zusätzlichen Sensoren oder Informationsquellen könnten integriert werden, um die Robustheit der Relativpositionsbestimmung weiter zu verbessern

Um die Robustheit der Relativpositionsbestimmung weiter zu verbessern, könnten zusätzliche Sensoren oder Informationsquellen integriert werden:

Inertiale Messeinheiten (IMUs): Die Integration von IMUs zur Erfassung von Beschleunigung und Drehung könnte dazu beitragen, Bewegungen und Orientierungen genauer zu verfolgen und die Positionsschätzung zu verfeinern.

Ultraschallsensoren: Die Verwendung von Ultraschallsensoren könnte die Entfernungsmessung verbessern und die Genauigkeit der relativen Positionierung in Innenräumen erhöhen.

Kommunikationsmodule: Die Integration von Kommunikationsmodulen wie Bluetooth oder WLAN könnte die Koordination zwischen den Drohnen verbessern und zusätzliche Informationen für die Positionsbestimmung bereitstellen.

Welche anderen Anwendungen abseits der Drohnennavigation könnten von einem solch leistungsfähigen und effizienten visuellen Positionsschätzungssystem profitieren

Ein leistungsfähiges und effizientes visuelles Positionsschätzungssystem könnte in verschiedenen Anwendungen außerhalb der Drohnennavigation von Nutzen sein:

Autonome Fahrzeuge: Die Technologie könnte in autonomen Fahrzeugen eingesetzt werden, um die Umgebung zu erfassen und die Fahrzeugnavigation zu verbessern.

Robotik in der Fertigung: In der Fertigungsindustrie könnte das System zur präzisen Positionierung von Robotern und zur Automatisierung von Prozessen eingesetzt werden.

Augmented Reality: Durch die Integration in AR-Geräte könnte das System die Genauigkeit der virtuellen Objektplatzierung in der realen Welt verbessern und immersive Erlebnisse schaffen.