Dieser Artikel untersucht die Fähigkeiten von Großen Sprachmodellen (LLMs) bei der Aufgabe der vernunftbasierten wissenschaftlichen Tabellen-zu-Text-Generierung und schlägt einen zweistufigen Destillationsansatz vor, um die Tabellenbasierte Schlussfolgerungsfähigkeit von LLMs in kleinere Modelle zu übertragen.
In der ersten Phase verwenden die Autoren LLMs, um Tabellenbasierte Schlussfolgerungen und Beschreibungen zu generieren, indem sie eine einmalige Kette-von-Gedanken (Chain-of-Thought, CoT) Methodik verwenden. In der zweiten Phase wird die destillierte CoT-Daten verwendet, um kleinere Modelle mit Tabellenbasierter Schlussfolgerungsfähigkeit auszustatten.
Die Experimente zeigen, dass die Feinjustierung kleinerer Modelle mit den destillierten CoT-Daten zu einer erheblichen Leistungssteigerung im Vergleich zu Basismodellen bei wissenschaftlichen Tabellen-zu-Text-Generierungsaufgaben führt. Darüber hinaus können die kleineren Modelle mit nur 220 Millionen Parametern (0,1% der Größe des Lehrermodells) in bestimmten Metriken sogar das 175-Milliarden-Parameter-Lehrermodell übertreffen.
To Another Language
from source content
arxiv.org
Ключові висновки, отримані з
by Bohao Yang,C... о arxiv.org 03-26-2024
https://arxiv.org/pdf/2309.13182.pdfГлибші Запити