핵심 개념
ニューラルネットワークモデルの解釈手法を活用し、金ラショナルとの整合性を高めることで、モデルの性能を向上させることができる。
초록
本論文では、ニューラルネットワークモデルの解釈手法を活用し、モデルの性能を向上させる枠組みを提案している。
具体的には、以下の3つの手法を提案している。
- 勾配ベースの解釈手法を活用する手法(UIMER-GB)
- 過去の研究で提案された勾配ベースの手法をこの枠組みに組み込んでいる
- 消去/置換ベースの解釈手法を活用する手法(UIMER-IM)
- Input Marginalization (IM)という消去/置換ベースの手法を活用し、ラショナルと非ラショナルの属性スコアの差を最小化するロスを導入している
- 抽出器ベースの解釈手法を活用する手法(UIMER-DM)
- Differentiable Masking (DM)という抽出器ベースの手法を活用し、ラショナルと非ラショナルの属性スコアの差を最小化するロスを導入している。
また、モデルと抽出器を交互に最適化する訓練スケジュールを提案している。
これらの手法は、特に少データ環境において、ベースラインモデルや過去の勾配ベースの手法よりも優れた性能を示している。
통계
追加のステップをプレイリストに追加する
現在のエッセイを6点中2点で評価する
子供たちが笑顔で手を振っている
子供たちは顔をしかめている