Unser Forschungsprojekt zielt darauf ab, ein Tool zu entwickeln, das die automatische Extraktion von Informationen aus empirischen Artikeln im Bereich der Mensch-Computer-Interaktion (HCI) ermöglicht. Dazu verwenden wir fortschrittliche Techniken wie Named Entity Recognition und Schlüsselwortextraktion, um wichtige Entitäten und Schlüsselbegriffe zu identifizieren. Unser System unterstützt gängige Dateiformate wie HTML und PDF und kann auch komprimierte Dateien verarbeiten.
Der Hauptfokus liegt auf der Interaktion mit den Large Language Models GPT-3.5 und Llama2, bei der der Artikelinhalt basierend auf einem definierten Prompt verarbeitet wird. Unser Ansatz extrahiert gezielt Informationen wie die Anzahl der Teilnehmer, die Rekrutierungsmethode, die Anzahl der Aufgaben, den Experimenttyp, die Versuchsvariablen und die Anzahl der Durchgänge.
Zur Bewertung der Systemleistung verwenden wir Metriken wie mittleren absoluten Fehler (MAE) und Genauigkeit, indem wir die vom System extrahierten Informationen mit manuell erhobenen Daten vergleichen. Die Ergebnisse zeigen, dass das GPT-3.5-Modell eine höhere Genauigkeit von 58% und einen geringeren MAE von 7,00 aufweist, während das Llama2-Modell eine Genauigkeit von 56% und einen MAE von 7,63 erreicht.
Darüber hinaus bietet unser System die Möglichkeit, Fragen zu den extrahierten Informationen zu beantworten, um den Nutzern einen nahtlosen Zugang zu den Daten zu ermöglichen. Durch die Bewertung der Chancen und Risiken des Einsatzes von Large Language Models tragen wir zu dem laufenden Dialog über die Etablierung methodischer Validität und ethischer Richtlinien für deren Verwendung in der HCI-Datenarbeit bei.
To Another Language
from source content
arxiv.org
Principais Insights Extraídos De
by Neda Taghiza... às arxiv.org 03-28-2024
https://arxiv.org/pdf/2403.18173.pdfPerguntas Mais Profundas