Evaluierung koreanischer Sprachkenntnisse in Sprachmodellen
Die HAE-RAE Bench ist ein Datensatz, der entwickelt wurde, um die Fähigkeit von Sprachmodellen zur Erfassung koreanischer kultureller Kontexte und Kenntnisse zu beurteilen. Im Gegensatz zu herkömmlichen Bewertungssuiten, die sich auf Token- und Sequenzklassifizierung oder mathematisches und logisches Denken konzentrieren, zielt die HAE-RAE Bench darauf ab, die Fähigkeit von Modellen zur Erinnerung an koreanspezifisches Wissen und kulturelle Kontexte zu erfassen.
