In dieser Studie wird das Problem der fehlenden Hinweistexte in Texteingabefeldern mobiler Apps untersucht. Eine Analyse von 4.950 Android-Apps zeigt, dass in über 76% der Fälle die Hinweistexte fehlen, was die Nutzung durch sehbehinderte Menschen stark beeinträchtigt.
Um dieses Problem zu lösen, entwickeln die Autoren HintDroid, ein LLM-basiertes System zur automatischen Generierung von Hinweistexten. HintDroid extrahiert zunächst die GUI-Informationen des Texteingabefelds und der umliegenden Komponenten, um ein GUI-Prompt zu erstellen, das dem LLM das Verständnis der Aufgabe erleichtert. Außerdem wird ein Retrievalsystem verwendet, um ähnliche Beispiele auszuwählen, die dem LLM als In-Context-Learning-Prompt dienen. Um die Qualität der generierten Hinweistexte zu verbessern, wird ein Feedback-Mechanismus eingesetzt, der prüft, ob der vom LLM vorgeschlagene Eingabetext die nächste Seite auslöst.
Die automatischen Experimente zeigen, dass HintDroid hohe BLEU-Werte erreicht und eine Nutzerstudie bestätigt die Nützlichkeit des Systems. HintDroid kann nicht nur sehbehinderten Nutzern helfen, sondern auch gewöhnlichen Nutzern die Anforderungen an Eingabefelder verdeutlichen.
Vers une autre langue
à partir du contenu source
arxiv.org
Questions plus approfondies