Основні поняття
Verschiedene Annotationsmethoden haben einen direkten Einfluss auf die Qualität der Annotationen und die Leistungsfähigkeit des darauf trainierten Deep-Learning-Klassifikators.
Анотація
Die Studie untersucht vier verschiedene Annotationsmethoden für Echtzeitdaten, die in einer zweiwöchigen Studie mit 11 Teilnehmern verwendet wurden:
- In-situ-Annotation mit einem Knopf an einer Smartwatch
- In-situ-Annotation mit der Strava-App
- Reine Selbstaufzeichnung (Aktivitätstagebuch)
- Zeitreihen-unterstützte Selbstaufzeichnung mit einem Visualisierungstool
Die Ergebnisse zeigen, dass die verschiedenen Annotationsmethoden die Qualität der Annotationen und die Leistung des Deep-Learning-Klassifikators direkt beeinflussen:
- In-situ-Methoden liefern weniger, aber präzisere Annotationen als Selbstaufzeichnungsmethoden.
- Die Einführung des Visualisierungstools konnte fehlende Annotationen reduzieren und die Konsistenz der Annotationen erhöhen, was zu einer Steigerung des F1-Scores des Klassifikators um bis zu 8% führte.
- Teilnehmer ohne Erfahrung in der Interpretation von Sensordaten hatten Schwierigkeiten, die Visualisierung korrekt zu nutzen, was sich negativ auf die Klassifikationsleistung auswirkte.
Die Studie zeigt, dass die Wahl der Annotationsmethode einen entscheidenden Einfluss auf die Qualität der Annotationen und die Leistungsfähigkeit des trainierten Modells hat. Für zukünftige Studien ist es daher wichtig, die Vor- und Nachteile der verschiedenen Methoden sorgfältig abzuwägen und geeignete Lösungen zu finden, um hochwertige Annotationen zu erhalten.
Статистика
"Die Annotationen der in-situ-Methoden sind bis zu 8% besser als die der reinen Selbstaufzeichnung."
"Der durchschnittliche F1-Score liegt zwischen 82,1% und 90,4%."
Цитати
"Verschiedene Annotationsmethoden haben einen direkten Einfluss auf die Qualität der Annotationen und die Leistungsfähigkeit des darauf trainierten Deep-Learning-Klassifikators."
"Die Einführung des Visualisierungstools konnte fehlende Annotationen reduzieren und die Konsistenz der Annotationen erhöhen, was zu einer Steigerung des F1-Scores des Klassifikators um bis zu 8% führte."
"Teilnehmer ohne Erfahrung in der Interpretation von Sensordaten hatten Schwierigkeiten, die Visualisierung korrekt zu nutzen, was sich negativ auf die Klassifikationsleistung auswirkte."