المفاهيم الأساسية
Der Datensatz enthält Fehlschläge bei Objektübergaben zwischen Roboter und Mensch, die durch das Verhalten des menschlichen Teilnehmers verursacht werden. Zwei Baseline-Methoden, eine Videoklassifizierung mit 3D-CNNs und eine zeitliche Aktionssegmentierung, zeigen, dass multimodale Daten wie Video, Kraft-Drehmoment-Sensoren und Greiferzustand wichtig sind, um diese Fehlschläge zu erkennen.
الملخص
Der Datensatz "Handover Failure Detection" (HFD) wurde entwickelt, um Benchmark-Fähigkeiten von Robotern zur Überwachung und Reaktion auf Fehlschläge bei Objektübergaben zwischen Roboter und Mensch zu verbessern. Der Datensatz enthält 589 Versuche mit zwei Roboterplattformen (Toyota HSR und Kinova Gen3) und 17 Teilnehmern, bei denen Fehlschläge durch das Verhalten des menschlichen Teilnehmers induziert wurden.
Die Fehlschläge umfassen Fälle, in denen der Mensch sich dem Roboter nicht nähert, den Gegenstand nicht greift oder fallen lässt, sowie Fälle, in denen der Mensch den Gegenstand nicht freigibt. Neben Videoaufnahmen enthält der Datensatz auch Daten von Kraft-Drehmoment-Sensoren und Greiferzuständen.
Zwei Baseline-Methoden wurden entwickelt, um diese Fehlschläge zu erkennen:
Videoklassifizierung mit 3D-CNNs: Verschiedene Varianten der I3D-Architektur, die multimodale Daten kombinieren, zeigen, dass die Verwendung von Kraft-Drehmoment-Sensordaten die Erkennungsgenauigkeit im Vergleich zur reinen Videoanalyse verbessert.
Zeitliche Aktionssegmentierung: Ein Multi-Stage Temporal Convolutional Network (MSTCN) segmentiert die Aktionen des Menschen und des Roboters sowie den Gesamtausgang des Versuchs. Auch hier verbessern die zusätzlichen Modalitäten die Leistung.
Die Ergebnisse zeigen, dass multimodale Daten wichtig sind, um diese Fehlschläge zu erkennen, die durch das Verhalten des menschlichen Teilnehmers verursacht werden. Der Datensatz und die Baseline-Methoden sollen dazu beitragen, die Überwachungsfähigkeiten von Robotern in Szenarien mit Mensch-Roboter-Interaktion zu verbessern.
الإحصائيات
Die Kraft-Drehmoment-Messungen sind in Newton und Newton-Meter normalisiert.
Die Greiferzustände sind kodiert als {-0.5, 0.0, 0.5} für {offen, teilweise geschlossen, geschlossen}.
اقتباسات
Keine relevanten Zitate gefunden.