本研究は、ニューラルネットワークの一般化と校正に対するさまざまなノイズ注入手法の影響を包括的に調査したものである。
主な内容は以下の通り:
コンピュータービジョン分類・回帰、表形式データの分類・回帰、自然言語処理分類など、さまざまなタスクとデータセット、ニューラルネットワークアーキテクチャを対象に実験を行った。
入力ノイズ(AugMix、弱い増強、ガウシアンノイズ)、入力-ターゲットノイズ(MixUp、CMixUp)、ターゲットノイズ(ラベルスムージング)、活性化ノイズ(Dropout、ガウシアンノイズ)、重みノイズ(ガウシアンノイズ、DropConnect)、勾配ノイズ(ガウシアンノイズ)、モデルノイズなど、さまざまなノイズ手法の影響を評価した。
一般化と校正の両方の観点から、in-distributionとout-of-distribution環境での性能を分析した。
ノイズの組み合わせと超パラメータ調整の重要性を示し、タスクやデータセットに応じて最適なノイズの組み合わせを見つける必要性を強調した。
一般化と校正のメトリックの可視化を通じて、ノイズの影響を分析した。
結果として、AugMixと弱い増強がコンピュータービジョンタスクで、Dropoutが自然言語処理タスクで、ガウシアンノイズが表形式データタスクで有効であることが示された。また、ノイズの組み合わせと適切な超パラメータ調整が重要であることが明らかになった。
To Another Language
from source content
arxiv.org
Viktige innsikter hentet fra
by Martin Feria... klokken arxiv.org 04-04-2024
https://arxiv.org/pdf/2306.17630.pdfDypere Spørsmål