本論文では、信頼できる人工知能(TAI)の評価手法について文献レビューを行い、分類を提案している。
概念的評価手法では、倫理性、透明性、リスク管理、安全性などの様々な側面からTAIを評価する高レベルのフレームワークが提案されている。一方で、実装の詳細や検証が不足している。
手動評価手法では、質問票を用いて人工知能システムの信頼性を評価する手法が提案されている。これらは人間の判断に依存するため時間がかかるが、TAIの様々な原則を網羅的に評価できる。
自動評価手法では、公平性や安全性などの特定の側面について、メトリクスを用いて自動的に評価する手法が提案されている。効率的だが、TAIの全ての側面を評価するメトリクスが確立されていない。
半自動評価手法は、自動と手動の要素を組み合わせたアプローチで、主に公平性の評価に用いられている。人間の判断を取り入れつつ、効率的な評価を実現している。
TAI評価には、標準化された評価基準の欠如、利用ケースに応じた評価手法の必要性、人間の関与の重要性など、様々な課題が存在する。今後は、継続的な半自動評価手法の開発が期待される。
In un'altra lingua
dal contenuto originale
arxiv.org
Approfondimenti chiave tratti da
by Louise McCor... alle arxiv.org 09-13-2024
https://arxiv.org/pdf/2409.07473.pdfDomande più approfondite