Core Concepts
ASTRA ist ein Transformer-basiertes Modell, das entwickelt wurde, um die Herausforderungen bei der Erkennung von Aktionen in Fußballvideos zu bewältigen, wie die präzise zeitliche Lokalisierung, die unausgewogene Verteilung der Daten, die Nichtsichtbarkeit bestimmter Aktionen und die Ungenauigkeit der Annotationen.
Abstract
Die Studie präsentiert ASTRA, ein Transformer-basiertes Modell für die Aufgabe der Aktionserkennung in Fußballspielen. ASTRA adressiert mehrere Herausforderungen, die mit der Aufgabe und dem Datensatz verbunden sind:
Die Anforderung an eine präzise zeitliche Lokalisierung der Aktionen.
Die Präsenz einer Langzeitverteilung der Daten, bei der einige Aktionen seltener vorkommen.
Die Nichtsichtbarkeit bestimmter Aktionen aufgrund von Wiederholungen oder Kamerawinkel.
Verrauschte Annotationen aufgrund der subjektiven Einschätzung der Annotatoren bei der Bestimmung der zeitlichen Positionen.
Um diese Herausforderungen anzugehen, integriert ASTRA verschiedene Techniken:
Eine Transformer-Encoder-Decoder-Architektur, um die gewünschte zeitliche Auflösung der Ausgabe zu erreichen und präzise Vorhersagen zu treffen.
Eine ausgewogene Mixup-Strategie, um die Langzeitverteilung der Daten zu berücksichtigen.
Einen unsicherheitsbasierten Verschiebungskopf, um die Variabilität der Annotationen zu erfassen.
Audiosignale, um die Erkennung nicht sichtbarer Aktionen zu verbessern.
Die Ergebnisse zeigen die Effektivität von ASTRA, das einen engen Average-mAP von 66,82 auf dem Testdatensatz erreicht. Darüber hinaus belegt ASTRA den 3. Platz in der SoccerNet 2023 Action Spotting Challenge mit einem Average-mAP von 70,21 auf dem Challengedatensatz.
Stats
Die Aktion "Ball aus dem Spiel" tritt mit einer absoluten Häufigkeit von 31.810 auf.
Die Aktion "Rote Karte" tritt mit einer absoluten Häufigkeit von 55 auf.
Die Aktion "Gelbe Karte -> Rote Karte" tritt mit einer absoluten Häufigkeit von 46 auf.
Quotes
Keine relevanten Zitate identifiziert.