In dieser Studie wird das Problem der fehlenden Hinweistexte in Texteingabefeldern mobiler Apps untersucht. Eine Analyse von 4.950 Android-Apps zeigt, dass in über 76% der Fälle die Hinweistexte fehlen, was die Nutzung durch sehbehinderte Menschen stark beeinträchtigt.
Um dieses Problem zu lösen, entwickeln die Autoren HintDroid, ein LLM-basiertes System zur automatischen Generierung von Hinweistexten. HintDroid extrahiert zunächst die GUI-Informationen des Texteingabefelds und der umliegenden Komponenten, um ein GUI-Prompt zu erstellen, das dem LLM das Verständnis der Aufgabe erleichtert. Außerdem wird ein Retrievalsystem verwendet, um ähnliche Beispiele auszuwählen, die dem LLM als In-Context-Learning-Prompt dienen. Um die Qualität der generierten Hinweistexte zu verbessern, wird ein Feedback-Mechanismus eingesetzt, der prüft, ob der vom LLM vorgeschlagene Eingabetext die nächste Seite auslöst.
Die automatischen Experimente zeigen, dass HintDroid hohe BLEU-Werte erreicht und eine Nutzerstudie bestätigt die Nützlichkeit des Systems. HintDroid kann nicht nur sehbehinderten Nutzern helfen, sondern auch gewöhnlichen Nutzern die Anforderungen an Eingabefelder verdeutlichen.
To Another Language
from source content
arxiv.org
Key Insights Distilled From
by Zhe Liu,Chun... at arxiv.org 04-04-2024
https://arxiv.org/pdf/2404.02706.pdfDeeper Inquiries