
大規模言語モデル(LLM)の信頼性を高めるために、特定の望ましくない情報の影響を効率的かつ効果的に排除し、同時に重要な知識生成の完全性を維持する方法を探る。


coremsg

llmの信頼性向上のための機械学習の忘却の再考


LLMの信頼性向上のための機械学習の忘却の再考



LLMの忘却には第二次最適化が有効であり、従来の第一次最適化手法よりも優れた性能を発揮する。



LLMの第二次最適化を活用した「忘却」の可能性を解き明かす



LLMは機密情報を記憶する可能性があり、これは悪用されるリスクがある。MEOW(Memory Supervised LLM Unlearning via Inverted Facts)は、LLMの記憶を定量化し、逆転事実を用いて効果的に忘却する新しい手法である。



メモリ監視型LLMの逆転事実を用いた忘却
