Präzise und nichtasymptotische Schranken für die relative Entropie zwischen Stichproben mit und ohne Zurücklegen

Belangrijkste concepten

Scharfe, nichtasymptotische Schranken für die relative Entropie zwischen den Verteilungen von Stichproben mit und ohne Zurücklegen aus einer Urne mit Kugeln in c ≥2 Farben werden hergeleitet. Diese Schranken sind in bestimmten Regimes asymptotisch scharf und hängen im Gegensatz zu früheren Ergebnissen von der Anzahl der Kugeln jeder Farbe in der Urne ab.

Samenvatting

Die Studie vergleicht die Verteilungen von Stichproben mit und ohne Zurücklegen aus einer Urne mit n Kugeln in c ≥2 Farben. Es werden scharfe, nichtasymptotische Schranken für die relative Entropie zwischen diesen beiden Verteilungen hergeleitet.
Zunächst werden einige grundlegende Eigenschaften der hypergeometrischen Verteilung, die die Stichprobenverteilung ohne Zurücklegen beschreibt, und der multinomialen Verteilung, die die Stichprobenverteilung mit Zurücklegen beschreibt, diskutiert.
Der Hauptteil beweist dann Theorem 1.1, das eine einfache obere Schranke für die relative Entropie angibt, die von den spezifischen Farbverteilungen in der Urne abhängt. Diese Schranke ist in bestimmten Regimes asymptotisch scharf. Zusätzlich wird in Proposition 1.2 eine alternative Darstellung für den Fall c=2 angegeben, die insbesondere für stark unausgewogene Farbverteilungen genauer ist.
Abschließend wird die Verbindung zu sogenannten "finiten de Finetti-Sätzen" diskutiert. Es wird gezeigt, wie die Sampling-Schranken aus dem Hauptteil verwendet werden können, um optimale finite de Finetti-Schranken in relativer Entropie herzuleiten.

Statistieken

Die relative Entropie D(n, k, ℓ) ist von der Gesamtzahl n der Kugeln, der Anzahl k der gezogenen Kugeln und dem Vektor ℓ = (ℓ1, ..., ℓc) der Anzahlen der Kugeln jeder Farbe abhängig.
Die Varianz Var(Si) der Anzahl Si der Kugeln der i-ten Farbe in der Stichprobe ist gegeben durch k(n-k)ℓi(n-ℓi)/(n^2(n-1)).
Das dritte zentrierte Moment M3(Si) der Anzahl Si der Kugeln der i-ten Farbe in der Stichprobe ist gegeben durch kℓi(n-k)(n-2k)(n-ℓi)(n-2ℓi)/(n^3(n-1)(n-2)).

Citaten

"Sharp, nonasymptotic bounds are obtained for the relative entropy between the distributions of sampling with and without replacement from an urn with balls of c ≥2 colors."
"Our bounds are asymptotically tight in certain regimes and, unlike previous results, they depend on the number of balls of each colour in the urn."

Belangrijkste Inzichten Gedestilleerd Uit

Relative entropy bounds for sampling with and without replacement

by Oliver Johns... om arxiv.org 04-11-2024

https://arxiv.org/pdf/2404.06632.pdf

Diepere vragen

Wie lassen sich die Schranken für die relative Entropie auf andere Divergenzmaße wie die Variationsdistanz oder Hellinger-Distanz übertragen?

Die Schranken für die relative Entropie können auf andere Divergenzmaße wie die Variationsdistanz oder die Hellinger-Distanz übertragen werden, indem geeignete Beziehungen zwischen diesen Maßen hergestellt werden. Zum Beispiel kann die Variationsdistanz in Bezug auf die relative Entropie durch Pinskers Ungleichung verknüpft werden, die besagt, dass das Quadrat der Variationsdistanz durch die relative Entropie begrenzt ist. Ähnlich kann die Hellinger-Distanz durch entsprechende Ungleichungen in Bezug auf die relative Entropie gebunden werden. Diese Verbindungen ermöglichen es, die Schranken für die relative Entropie auf andere Divergenzmaße zu übertragen und somit Einsichten in die Nähe von Wahrscheinlichkeitsverteilungen zu gewinnen.

Gibt es Bedingungen, unter denen die relative Entropie D(Pk||Mk,μ) zwischen der Verteilung der ersten k Zufallsvariablen einer endlichen austauschbaren Folge und ihrer Mischungsverteilung monoton in n fällt?

Ja, es gibt Bedingungen, unter denen die relative Entropie D(Pk||Mk,μ) zwischen der Verteilung der ersten k Zufallsvariablen einer endlichen austauschbaren Folge und ihrer Mischungsverteilung monoton in n fällt. Insbesondere kann die Monotonie in n auftreten, wenn die Mischungsverteilung μ bestimmte Eigenschaften aufweist, die die relative Entropie in Bezug auf die Anzahl der Zufallsvariablen beeinflussen. Wenn die Mischungsverteilung μ bestimmte strukturelle Merkmale aufweist, die eine monoton fallende relative Entropie gewährleisten, kann dies zu einer monotonen Abnahme von D(Pk||Mk,μ) in n führen.

Lassen sich die Ergebnisse auf andere Stichprobenprobleme wie systematisches Sampling oder Stichproben ohne Zurücklegen mit ungleichen Auswahlwahrscheinlichkeiten verallgemeinern?

Ja, die Ergebnisse können auf andere Stichprobenprobleme wie systematisches Sampling oder Stichproben ohne Zurücklegen mit ungleichen Auswahlwahrscheinlichkeiten verallgemeinert werden. Indem die zugrunde liegenden Prinzipien der relativen Entropie und der Divergenzmaße auf verschiedene Stichprobenprobleme angewendet werden, können ähnliche Schranken und Beziehungen zwischen den Wahrscheinlichkeitsverteilungen abgeleitet werden. Die Verallgemeinerung auf verschiedene Stichprobenprobleme erfordert möglicherweise spezifische Anpassungen und Berücksichtigung der jeweiligen Bedingungen, aber die grundlegenden Konzepte bleiben relevant und können auf vielfältige Weise angewendet werden.