מושגי ליבה
Offene Konversations-LLMs produzieren für einen wichtigen Teil der Wörter falsche Bedeutungen und können die meisten Wörter nicht korrekt verwenden, um Sätze mit Kontext zu schreiben.
תקציר
Die Studie evaluiert das Wissen, das offene Konversations-LLMs vom Spanischen haben, indem eine Stichprobe von Wörtern aus einem Referenzwörterbuch getestet wird. Die Ergebnisse zeigen, dass offene Konversations-LLMs für einen wichtigen Teil der Wörter falsche Bedeutungen produzieren und die meisten Wörter nicht korrekt verwenden können, um Sätze mit Kontext zu schreiben. Diese Ergebnisse zeigen, wie Spanisch in der offenen LLM-Landschaft zurückbleibt und unterstreichen die Notwendigkeit, die sprachliche Gerechtigkeit in Konversations-LLMs zu fördern, um eine ähnliche Leistung über alle Sprachen hinweg sicherzustellen.
סטטיסטיקה
"Die Mehrheit der Modelle produziert gültige Bedeutungen für weniger als 50% der Wörter."
"Nur ein Drittel der Modelle erreicht 50% und das beste Modell erreicht nur 66%."
"Nur ein Modell erreicht 25% korrekte Verwendung der Wörter und die Mehrheit der Modelle liegt unter 10%."
ציטוטים
"Die Ergebnisse zeigen, wie Spanisch in der offenen LLM-Landschaft zurückbleibt und unterstreichen die Notwendigkeit, die sprachliche Gerechtigkeit in Konversations-LLMs zu fördern, um eine ähnliche Leistung über alle Sprachen hinweg sicherzustellen."