本研究では、画像拡張手法によって損失関数の性能が大きく異なることを明らかにした。具体的には、以下の知見を得た:
小規模モデルで訓練した損失関数と大規模モデルで訓練した損失関数の相関が低いことを確認した。これは先行研究と同様の結果である。
同じ大規模モデルでも、異なる画像拡張手法間での損失関数の順位相関が低いことを示した。これは新たな知見である。
上記の知見を踏まえ、5種類の画像拡張手法それぞれに対して進化的に損失関数を探索した。その結果、各拡張手法に特化した損失関数を発見できた。
発見した損失関数を大規模モデルに適用したところ、交差エントロピー損失関数を上回る性能を示した。特に、逆ベッセル対数損失関数は多くの実験で最良の結果を示した。
以上の結果から、画像拡張手法に特化した損失関数を進化的に探索することで、従来の交差エントロピー損失関数を上回る性能が得られることが示された。
Til et andet sprog
fra kildeindhold
arxiv.org
Vigtigste indsigter udtrukket fra
by Brandon Morg... kl. arxiv.org 04-11-2024
https://arxiv.org/pdf/2404.06633.pdfDybere Forespørgsler