Die Studie stellt TableLLM vor, ein leistungsfähiges Großsprachmodell (LLM) mit 13 Milliarden Parametern, das speziell für die effiziente Verarbeitung von tabellarischen Daten in realen Büronutzungsszenarios entwickelt wurde.
Zunächst wurde eine umfangreiche Nutzerstudie durchgeführt, um die tatsächlichen Anforderungen von Büronutzern zu erfassen. Die Ergebnisse zeigten, dass Nutzer Aufgaben wie Tabellen-Abfrage, Tabellen-Bearbeitung, Diagrammerstellung und Tabellen-Zusammenführung bevorzugen, wobei sowohl tabellarische Daten in Dokumenten als auch in Tabellenkalkulations-Dateien eine wichtige Rolle spielen.
Um TableLLM zu trainieren, wurde eine Methode der fernen Überwachung entwickelt, die eine Erweiterung des Schlussfolgerungsprozesses und eine Kreuzvalidierungsstrategie umfasst. Dadurch wird das LLM effektiver dabei unterstützt, Schlussfolgerungsmuster zu verstehen und die Qualität der automatisch generierten Trainingsdaten sichergestellt.
Die gründliche Evaluierung unterstreicht die Vorteile von TableLLM im Vergleich zu verschiedenen bestehenden allgemeinen und tabellenorientierten LLMs. TableLLM übertrifft sogar den leistungsfähigsten kommerziellen LLM GPT-4 in Szenarien mit tabellarischen Daten in Tabellenkalkulations-Dateien.
To Another Language
from source content
arxiv.org
Key Insights Distilled From
by Xiaokang Zha... at arxiv.org 03-29-2024
https://arxiv.org/pdf/2403.19318.pdfDeeper Inquiries