Einsatz von ChatGPT zur Vergabe von LCSH-Schlagwörtern für elektronische Abschlussarbeiten und Dissertationen

Core Concepts

Große Sprachmodelle wie ChatGPT können als strategische Antwort auf den Rückstau an zu katalogisierenden Objekten in Hochschulbibliotheken dienen und einen kostengünstigen Ansatz für die prompte Generierung von LCSH-Schlagwörtern bieten. Menschliche Katalogisierer bleiben jedoch unerlässlich, um die Gültigkeit, Ausführlichkeit und Spezifität der von Sprachmodellen generierten LCSH-Schlagwörter zu überprüfen und zu verbessern.

Abstract

Die Studie untersucht das Potenzial des Einsatzes von Großen Sprachmodellen (LLMs) zur Generierung von Library of Congress Subject Headings (LCSH). Die Autoren verwendeten ChatGPT, um Schlagwörter für elektronische Abschlussarbeiten und Dissertationen (ETDs) auf der Grundlage ihrer Titel und Zusammenfassungen zu generieren. Die Ergebnisse zeigten, dass einige der generierten Schlagwörter zwar gültig waren, es jedoch Probleme hinsichtlich der Spezifität und Ausführlichkeit gab. Die Studie zeigt, dass LLMs als strategische Antwort auf den Rückstau an zu katalogisierenden Objekten in Hochschulbibliotheken dienen und einen kostengünstigen Ansatz für die prompte Generierung von LCSH-Schlagwörtern bieten können. Dennoch bleiben menschliche Katalogisierer unerlässlich, um die Gültigkeit, Ausführlichkeit und Spezifität der von LLMs generierten LCSH-Schlagwörter zu überprüfen und zu verbessern.

Stats

Die Studie zeigte, dass ChatGPT in 90% der Fälle die MARC-Codierung korrekt vornahm. In 23,3% der Fälle wurden LCSH-Schlagwörter ohne Probleme generiert. In 56,6% der Fälle wurden die Schlagwörter als akzeptabel in Bezug auf die Spezifität bewertet. In 73,3% der Fälle wurden die Schlagwörter als akzeptabel in Bezug auf die Ausführlichkeit bewertet.

Quotes

"Große Sprachmodelle wie ChatGPT können als strategische Antwort auf den Rückstau an zu katalogisierenden Objekten in Hochschulbibliotheken dienen und einen kostengünstigen Ansatz für die prompte Generierung von LCSH-Schlagwörtern bieten." "Menschliche Katalogisierer bleiben jedoch unerlässlich, um die Gültigkeit, Ausführlichkeit und Spezifität der von Sprachmodellen generierten LCSH-Schlagwörter zu überprüfen und zu verbessern."

Key Insights Distilled From

An Experiment with the Use of ChatGPT for LCSH Subject Assignment on Electronic Theses and Dissertations

by Eric H. C. C... at arxiv.org 03-26-2024

https://arxiv.org/pdf/2403.16424.pdf

Deeper Inquiries

Wie können Bibliotheken die Leistung von Großen Sprachmodellen bei der Vergabe von Schlagwörtern weiter verbessern, z.B. durch die Verwendung von Retrievalunterstützter Generierung?

Um die Leistung von Großen Sprachmodellen wie ChatGPT bei der Vergabe von Schlagwörtern zu verbessern, insbesondere durch die Verwendung von Retrievalunterstützter Generierung, könnten Bibliotheken mehrere Ansätze verfolgen. Zunächst könnten sie die Modelle mit offiziellen LCSH-Vokabularen als Referenzquelle für Informationen abfragen, um die Genauigkeit der Ausgabe zu erhöhen. Durch die Integration von Retrievalunterstützter Generierung (RAG) in LLM-Anwendungen könnten Bibliotheken die Qualität der Schlagwortvergabe weiter steigern, indem sie die offiziellen LCSH-Vokabulare als Informationsquelle heranziehen. Dies würde dazu beitragen, dass die von den Großen Sprachmodellen generierten Schlagwörter genauer und konsistenter sind. Darüber hinaus könnten Bibliotheken spezifische Heuristiken und Listen von Schlagwörtern in die Eingabeprompt für die LLMs integrieren, um die Modellleistung zu optimieren und sicherzustellen, dass die generierten Schlagwörter den Anforderungen entsprechen.

Welche Auswirkungen hätte der Einsatz von Open-Source-Großen Sprachmodellen, die mit hochwertigen bibliografischen Daten trainiert wurden, auf die Qualität der Schlagwortvergabe?

Der Einsatz von Open-Source-Großen Sprachmodellen, die mit hochwertigen bibliografischen Daten trainiert wurden, hätte erhebliche Auswirkungen auf die Qualität der Schlagwortvergabe in Bibliotheken. Durch die Verwendung von hochwertigen bibliografischen Daten aus verschiedenen Disziplinen als Trainingsdaten könnten diese Modelle eine präzisere und konsistentere Schlagwortvergabe ermöglichen. Bibliotheken könnten von der Qualitätssicherung profitieren, die durch die Verwendung von offenen LLMs wie Llama 2 und Mistral ermöglicht wird, da diese Modelle auf einer Vielzahl von qualitativ hochwertigen bibliografischen Daten basieren. Die Verwendung von PCC-authentifizierten Datensätzen als Trainingsdaten könnte die Qualität der Schlagwortvergabe weiter verbessern, da diese Datensätze von PCC-Beitragenden erstellt werden, die eine strenge Schulung und Überprüfung durchlaufen haben.

Wie können Bibliotheken den Einsatz von Großen Sprachmodellen in der Katalogisierung mit anderen Ansätzen wie der Verwendung von Facettenklassifikationen kombinieren, um die Effizienz und Genauigkeit der Schlagwortvergabe weiter zu verbessern?

Um den Einsatz von Großen Sprachmodellen in der Katalogisierung mit anderen Ansätzen wie der Verwendung von Facettenklassifikationen zu kombinieren und die Effizienz und Genauigkeit der Schlagwortvergabe weiter zu verbessern, könnten Bibliotheken mehrere Strategien verfolgen. Eine Möglichkeit wäre die Verwendung von Facettenklassifikationen, die keine komplexen Regelinterpretationen erfordern und die Schlagwortvergabe vereinfachen. Durch die Verwendung von Facettenklassifikationen könnten Bibliotheken präzisere Ergebnisse erzielen, da diese Begriffe nur ein einzelnes Konzept repräsentieren. Darüber hinaus könnten Bibliotheken Software zur Versöhnung einsetzen, um ChatGPT-generierte Schlagwortketten zu bewerten und korrekte LCSH von ungültigen zu unterscheiden. Dieser Ansatz könnte besonders effektiv sein, um die Validität von Schlagwörtern zu verbessern und Fehler zu identifizieren. Durch die Kombination von Großen Sprachmodellen mit Facettenklassifikationen und Software zur Versöhnung könnten Bibliotheken die Effizienz und Genauigkeit der Schlagwortvergabe weiter steigern.