ChatGPT hat einen zunehmenden Einfluss auf den Schreibstil von Akademikern, insbesondere im Bereich der Informatik, wo der Anteil der von ChatGPT überarbeiteten Abstracts auf etwa 35% geschätzt wird.
Einige Formen der "latenten Komplexit??t" k??nnen durch die Verwendung von Stichproben einfacher und komplexer W??rter n??herungsweise erfasst werden. Die Analyse der Buchstabenpositional-Wahrscheinlichkeiten zeigt eine starke statistische Verbindung zwischen einfachen und komplexen W??rtern.
Sprachmodelle implementieren manchmal einfache Vektoradditionsmechanismen, um relationale Aufgaben zu lösen, indem sie Regelmäßigkeiten nutzen, die in ihrem versteckten Raum codiert sind.
Verschiedene Strategien zur Auswahl von Quellsprachen für die Übertragung von semantischer Textähnlichkeit über Sprachgrenzen hinweg werden untersucht, um die Leistung von Modellen zu verbessern.
Trotz einiger Ausnahmefälle ist die Nullshot-Leistung von Großsprachmodellen im Allgemeinen im Vergleich zu den derzeitigen SOTA-feintunten Modellen in den meisten Aufgaben deutlich unterlegen.
Die Treue der Erklärungen von Merkmalszuweisungsmethoden (FAs) variiert zwischen mehrsprachigen und einsprachigen Modellen. Je größer das mehrsprachige Modell, desto weniger treu sind die FAs im Vergleich zu ihren einsprachigen Gegenstücken.
Neologismen, also neue Wortformen, stellen eine Herausforderung für große Sprachmodelle dar, da sie nicht in den Trainingsdaten enthalten sind. Der Benchmark NEO-BENCH evaluiert die Fähigkeit von Sprachmodellen, mit Neologismen umzugehen, und zeigt, dass ältere Modelle deutlich schlechter abschneiden als neuere.
Ein effizienterer Algorithmus zur gleichzeitigen Berechnung der Präfixwahrscheinlichkeiten aller Präfixe einer Zeichenkette unter einer probabilistischen kontextfreien Grammatik.
Wir präsentieren einen effizienteren Algorithmus zum gleichzeitigen Berechnen der Präfixwahrscheinlichkeiten aller Präfixe eines Strings unter einer probabilistischen kontextfreien Grammatik.
Tiefes Lernen kann verwendet werden, um die Bedingungen und Lernprozesse zu simulieren, die zur Entstehung einer strukturierten Sprache in einer kontrollierten Umgebung führen könnten.