Große Sprachmodelle sind effektiv bei der Erkennung von Out-of-Distribution, insbesondere durch die Verwendung von Cosinus-Abstand als einfacher Detektor.
Die Kombination verschiedener Out-of-Distribution-Maßnahmen übertrifft einzelne Maßnahmen signifikant und ist entscheidend für die Erkennung von Anomalien und neuartigen Klassen.
Ein kombiniertes Maß für Out-of-Distribution (OOD) übertrifft einzelne Maßnahmen signifikant und die Diskrepanz zwischen linearen und kNN-Vorhersagen ist ein wichtiger neuer Indikator für die Erkennung neuer Klassen.
Die vorgeschlagenen Bi-Encoder-basierten Detektoren zeigen ein großes Potenzial für die Out-of-Distribution-Erkennung in der natürlichen Sprachverarbeitung. Die Einfachheit des Trainingsprozesses und die überlegene Erkennungsleistung machen sie für Anwendungen in der realen Welt geeignet.
Unser vorgeschlagenes Framework MLOD nutzt die Hierarchie der Merkmale in tiefen neuronalen Netzen, um Verteilungsverschiebungen zwischen Testdaten und Trainingsdaten effizient zu erkennen.
Moderne Out-of-Distribution-Erkennungsalgorithmen sind empfindlicher gegenüber kovariaten Verschiebungen als gegenüber semantischen Verschiebungen. Selbst bei minimaler kovariater Verschiebung bringen diese Algorithmen nur geringe Verbesserungen gegenüber der einfachen Maximum-Softmax-Wahrscheinlichkeit-Baseline.