Core Concepts
UIデザインの品質と視覚的関連性を、スクリーンショットと自然言語の説明から評価するための機械学習モデルUIClipを開発した。
Abstract
本研究では、UIデザインの品質と視覚的関連性を評価するための機械学習モデルUIClipを開発した。UIClipは、スクリーンショットと自然言語の説明を入力として、UIデザインの関連性とデザイン品質を数値スコアで表す。
UIClipの開発には以下の取り組みが含まれる:
自動クロール、合成的な拡張、人間による評価を組み合わせて、230万件以上のUIスクリーンショットと説明からなる大規模データセットを構築した。説明には、デザイン品質のタグと具体的な設計上の欠陥が含まれる。
UIClipは、このデータセットを使って訓練され、良いデザインと悪いデザインの特徴を暗黙的に学習する。UIClipは、UIデザインの関連性とデザイン品質を数値スコアで出力し、デザインの改善点も提示する。
12人のデザイナーによる評価と比較したところ、UIClipは最も高い一致率を示した。
UIClipを活用した3つのアプリケーション例を紹介した。これらは、UIデザインの即時評価に基づいて、UIコード生成、デザイン提案生成、品質重視のUIサンプル検索を行うものである。
Stats
UIデザインの品質は、人間のデザイナーの評価と比較して最も高い一致率を示した。
UIClipは、デザインの欠陥を正確に検出し、改善提案を行うことができた。
Quotes
"UIデザインの良し悪しを包括的に説明することは難しく、専門家でも苦労する課題である。"
"自動化された評価手法は、UIデザインの改善や評価に新たな機会を切り開く。"