Concepts de base
大規模言語モデルのトレーニングにおけるデータ漏洩のリスクとその影響を明らかにする。
Stats
LLMsは5百万インスタンスからサンプリングされた前処理済みデータで個人情報、著作権テキスト、ベンチマークの漏洩率を75.1%、19.0%、0.1%と示す。
自己検出方法は既存手法よりも優れたパフォーマンスを示す。
Citations
"Data leakage in LLMs originates from the leakage of data points in the pre-training data, leading to the output of leaked data points by the LLMs."
"Our self-detection method showed superior performance compared to existing detection methods."