Die Studie präsentiert SciGLM, eine Reihe wissenschaftlicher Sprachmodelle, die entwickelt wurden, um die Fähigkeiten zum college-ähnlichen wissenschaftlichen Schlussfolgern zu verbessern.
Zentral ist ein neuartiges selbstreflexives Instruktionsannotationsverfahren, um die Herausforderung des Datenmangels im Wissenschaftsbereich anzugehen. Dieses Verfahren nutzt bestehende Sprachmodelle, um schrittweise Begründungen für unbeschriftete wissenschaftliche Fragen zu generieren, gefolgt von einem Prozess des selbstreflexiven Kritisierens und Überarbeitens.
Durch Anwendung dieses Verfahrens wurde SciInstruct, ein vielfältiger und hochwertiger Datensatz mit Inhalten aus Physik, Chemie, Mathematik und formalen Beweisen, erstellt. Die ChatGLM-Sprachmodelle wurden mit SciInstruct feinabgestimmt, wodurch ihre Fähigkeiten zum wissenschaftlichen und mathematischen Schlussfolgern deutlich verbessert wurden. Bemerkenswert ist, dass SciGLM den Basismodellen (ChatGLM3-6B-Base) um 4,87% und größeren Modellen (32B) um 2,67% überlegen ist, ohne die allgemeinen Sprachverständnisfähigkeiten des Basismodells zu beeinträchtigen.
Dies macht SciGLM zu einem geeigneten Grundlagenmodell, um vielfältige wissenschaftliche Entdeckungsaufgaben zu erleichtern. Zum Nutzen der breiteren Forschungsgemeinschaft werden SciInstruct, SciGLM sowie das selbstreflexive Verfahren und der Feinabstimmungscode veröffentlicht.
toiselle kielelle
lähdeaineistosta
arxiv.org
Tärkeimmät oivallukset
by Dan Zhang,Zi... klo arxiv.org 03-14-2024
https://arxiv.org/pdf/2401.07950.pdfSyvällisempiä Kysymyksiä