Core Concepts
大規模言語モデルの事前学習データを特定する新しい方法を提案。
Abstract
大規模言語モデル(LLMs)の訓練に使用されるデータは通常開示されない。
本論文では、事前学習データ検出問題に焦点を当て、新しい検出方法MIN-K% PROBを紹介。
MIN-K% PROBは、未知の例が低確率の外れ値トークンを含む傾向があるという単純な仮説に基づいています。
実験結果は、MIN-K% PROBが以前の手法よりもWIKIMIAで7.4%改善したことを示しています。
MIN-K% PROBは、著作権付き書籍の検出や汚染された下流例の検出など、実世界シナリオでも効果的であることが示されています。
Stats
モデルはWIKIMIAで7.4%改善したことを示す実験結果があります。
MIN-K% PROBは、著作権付き書籍や汚染された下流例など、実世界シナリオでも効果的であることが示されています。