Der Artikel präsentiert eine systematische Studie zum Thema der codierbaren Textmarkierung für Große Sprachmodelle (CTWL), um Texte mit versteckten Mustern zu versehen, die Informationen wie Modellversion, Erstellungszeit oder Benutzer-ID tragen können.
Zunächst wird eine Taxonomie der Wasserzeichentechnologien für Große Sprachmodelle erstellt und eine mathematische Formulierung für CTWL gegeben. Dann wird ein umfassendes Bewertungssystem für CTWL entwickelt, das fünf Kriterien umfasst: Erfolgsquote der Wasserzeichenrückgewinnung, Robustheit gegen Angriffe, Codierrate, Effizienz und Auswirkungen auf die Textqualität.
Um diese Anforderungen zu erfüllen, wird eine fortschrittliche CTWL-Methode namens Balance-Marking vorgestellt. Der Kern ist die Verwendung eines Proxy-Sprachmodells, um den Wortschatz in wahrscheinlichkeitsausgewogene Teile aufzuteilen, um die Qualität des markierten Texts zu erhalten. Umfangreiche Experimente zeigen, dass Balance-Marking die Baseline-Methoden übertrifft.
A otro idioma
del contenido fuente
arxiv.org
Ideas clave extraídas de
by Lean Wang,We... a las arxiv.org 04-04-2024
https://arxiv.org/pdf/2307.15992.pdfConsultas más profundas