Eine Bemerkung zur bedingten Entropie

Die bedingte Entropie einer Sequenz ist fast zeitumkehrinvariant, d.h. sie unterscheiden sich nur um einen kleinen konstanten Faktor, der von den Vorwärts- und Rückwärtsmodellen abhängt, mit denen die Entropien berechnet werden. Dies führt zu einem numerischen Wert, der die Lernbarkeit quantifiziert, und zu einer Methode, um den Verteilungsshift zwischen Datensätzen zu kontrollieren.