データ影響モデルを用いた効率的な事前学習のためのモデル認識データ選択：MATES

大規模言語モデルの事前学習において、モデルの学習過程におけるデータ選好度の変化を捉え、動的にデータを選択することで、事前学習の効率と効果を大幅に向上させることができる。