Core Concepts
Ein Deep-Reinforcement-Learning-basierter Ansatz wird vorgestellt, um eine optimale Sequenz von Zielbesuchen für eine einzelne Drohne zu bestimmen, die eine anhaltende Überwachungsmission unter Berücksichtigung von Treibstoffbeschränkungen durchführt.
Abstract
Der Artikel präsentiert einen Deep-Reinforcement-Learning-basierten Ansatz, um das Problem der anhaltenden Überwachung durch eine einzelne Drohne mit Treibstoffbeschränkungen zu lösen.
Das Problem wird als Markov-Entscheidungsprozess (MDP) formuliert, bei dem die Drohne entscheiden muss, welche Ziele sie als Nächstes besucht, um die maximale Zeit zwischen aufeinanderfolgenden Zielbesuchen zu minimieren, während sie nie den Treibstoff ausgeht.
Um die Übertragbarkeit des Ansatzes auf Probleme mit unterschiedlicher Anzahl von Zielen zu erhöhen, wird die Verwendung von Dummy-Zielen vorgeschlagen. Außerdem wird eine Technik namens "Action Masking" eingeführt, um die Treibstoffbeschränkungen direkt in den Entscheidungsprozess der Drohne zu integrieren.
Die Ergebnisse umfangreicher Experimente zeigen, dass der Deep-Reinforcement-Learning-Ansatz im Vergleich zu einer Greedy-Heuristik deutlich bessere Ergebnisse in Bezug auf die minimale maximale Revisitzeit erzielt. Darüber hinaus erweist sich der Ansatz als robust gegenüber Änderungen der Treibstoffkapazität der Drohne.
Stats
Die Drohne verbraucht 1 Einheit Treibstoff pro Einheit zurückgelegter Strecke.
Die maximale Treibstoffkapazität der Drohne beträgt 120 Einheiten.
Quotes
"Der Deep-Reinforcement-Learning-Ansatz zeigt Robustheit gegenüber Variationen in der Treibstoffkapazität der Drohne und beseitigt die Notwendigkeit eines erneuten Trainings, wenn sich die Treibstoffkapazität ändert."
"Der Deep-Reinforcement-Learning-Algorithmus optimiert den Ressourceneinsatz, ohne eine umfangreiche Rekonfiguration des Modells zu erfordern."