Die Studie präsentiert SciGLM, eine Reihe wissenschaftlicher Sprachmodelle, die entwickelt wurden, um die Fähigkeiten zum college-ähnlichen wissenschaftlichen Schlussfolgern zu verbessern.
Zentral ist ein neuartiges selbstreflexives Instruktionsannotationsverfahren, um die Herausforderung des Datenmangels im Wissenschaftsbereich anzugehen. Dieses Verfahren nutzt bestehende Sprachmodelle, um schrittweise Begründungen für unbeschriftete wissenschaftliche Fragen zu generieren, gefolgt von einem Prozess des selbstreflexiven Kritisierens und Überarbeitens.
Durch Anwendung dieses Verfahrens wurde SciInstruct, ein vielfältiger und hochwertiger Datensatz mit Inhalten aus Physik, Chemie, Mathematik und formalen Beweisen, erstellt. Die ChatGLM-Sprachmodelle wurden mit SciInstruct feinabgestimmt, wodurch ihre Fähigkeiten zum wissenschaftlichen und mathematischen Schlussfolgern deutlich verbessert wurden. Bemerkenswert ist, dass SciGLM den Basismodellen (ChatGLM3-6B-Base) um 4,87% und größeren Modellen (32B) um 2,67% überlegen ist, ohne die allgemeinen Sprachverständnisfähigkeiten des Basismodells zu beeinträchtigen.
Dies macht SciGLM zu einem geeigneten Grundlagenmodell, um vielfältige wissenschaftliche Entdeckungsaufgaben zu erleichtern. Zum Nutzen der breiteren Forschungsgemeinschaft werden SciInstruct, SciGLM sowie das selbstreflexive Verfahren und der Feinabstimmungscode veröffentlicht.
Naar een andere taal
vanuit de broninhoud
arxiv.org
Belangrijkste Inzichten Gedestilleerd Uit
by Dan Zhang,Zi... om arxiv.org 03-14-2024
https://arxiv.org/pdf/2401.07950.pdfDiepere vragen