Core Concepts
属性スキャナーは、メタデータを必要とせずに解釈可能なデータスライスを生成し、視覚的にモデルの振る舞いパターンを要約することで、視覚モデルの検証を支援する。
Abstract
属性スキャナーは、視覚モデルの検証のための新しいアプローチを提案しています。従来のデータスライス検出手法は、メタデータや言語-視覚モデルに依存していましたが、属性スキャナーはそれらを必要とせずに、モデルの属性パターンに基づいて解釈可能なデータスライスを生成することができます。
属性スキャナーのワークフローは3つのフェーズから成ります。
説明可能なデータスライス検出フェーズ:
GradCAMを使ってモデルの属性マスクを生成し、それを潜在空間に内挿することで属性重み付き特徴ベクトルを得ます。
この属性表現空間でクラスタリングを行い、一貫した属性パターンを持つデータスライスを検出します。
スライス要約とアノテーションフェーズ:
データスライスモザイクを使って、各スライスの主要な属性パターンを視覚的に要約します。
ユーザーはこの視覚化を使ってスライスの問題(スプリアス相関など)を特定し、アノテーションできます。
スプリアス伝播手法を使って、アノテーションされたスライスの情報を自動的に他のスライスに伝播します。
スライスエラー軽減フェーズ:
ユーザーによるアノテーションと検証されたスプリアス性を使って、データの再ラベル化やモデルの正則化を行うことで、検出された問題を軽減します。
属性スキャナーは2つのユースケースを通して有効性が示されています。ユーザーは視覚的な要約と属性ベースの分析を使って、モデルの問題(スプリアス相関、ラベルノイズ)を効果的に特定し、軽減することができます。この手法は、メタデータフリーでモデル検証を行う新しい道を開くものです。
Stats
髪の色分類モデルの正解率は98.02%
水鳥/陸鳥分類モデルの正解率は85.74%
Quotes
"属性スキャナーは効果的にMLモデルの検証を支援する"
"属性スキャナーのビジュアル要約とその他のビューは、スライスの内容を完全に理解するのに役立つ"