StartseiteMathlog

Theorema Magnum MCMLXV: das Prinzip der großen Abweichungen

Von / 11. Februar 2021 / 21 Kommentare
Mehr

Wenn man einen Münzwurf fünfzig, hundert, zweihundert oder tausend Mal wiederholt, wird sich der relative Anteil der Zahlwürfe immer stärker bei 0.5 einpendeln – das ist das Gesetz der großen Zahlen. Wenn man diese Versuchsreihe mehrmals wiederholt, wird man natürlich stets denselben Effekt haben, aber jedesmal auf eine etwas andere Art und im Einzelfall kann es auch einmal größere Abweichungen geben.
Ähnlich ist es beim zentralen Grenzwertsatz: statistische Eigenschaften, die von vielen kleinen, unabhängigen Faktoren abhängen, sind normalverteilt. Aber manchmal hat man große Abweichungen und beispielsweise für Versicherungsmathematiker ist es wichtig, die Wahrscheinlichkeit dieser großen Abweichungen zu berechnen. Dieses Thema war erstmals in den 20er Jahren von dem Versicherungsmathematiker Filip Lundberg bearbeitet worden, dessen auf Schwedisch veröffentlichte Arbeiten aber erst durch Harald Cramér und seine Schüler bekannt wurden.
Cramér hatte in den 30er Jahren erste präzise Abschätzungen gefunden, wie schnell die Wahrscheinlichkeit einer Abweichung oberhalb eines gegebenen Niveaus gegen Null geht. Er berechnete für unabhängige identisch verteilte Zufallsvariablen ξ1,…,ξn mit Mittel μ und Sn=ξ1+…+ξn den Grenzwert \lim_{n\to\infty}\frac{1}{n}\ln P(\frac{1}{n}S_n\ge x)=-\phi^*(x) für x≥μ bzw. \lim_{n\to\infty}\frac{1}{n}\ln P(\frac{1}{n}S_n\le x)=-\phi^*(x) für x≤μ, wobei φ* die Fenchel-Legendre-Transformierte der zu ξi assoziierten kumulantenerzeugenden Funktion \phi(\lambda)=\ln E(e^{\lambda\xi}) bezeichnet. Es dauerte aber noch dreißig Jahre bis S. R. Srinivasa Varadhan die zugrundeliegenden Prinzipien entdeckte.
Varadhan hatte in Madras Statistik studiert und war von älteren Studenten überzeugt worden, sich statt des für ihn unbefriedigenden Themas der statistischen Qualitätskontrolle besser der rein mathematischen Theorie der Wahrscheinlichkeiten zu widmen. Nach der Promotion in Kalkutta, für die Andrei Kolmogorow ein enthusiastisches Gutachten geschrieben hatte, ging er nach New York. Bei der Analyse gewisser partieller Integralgleichungen stieß er dort auf Integrale der Form e^{nF(x)}dP_n(x) mit auf einer e-n konzentrierten Maßen Pn, für deren Auswertung er seine vereinheitlichte Theorie großer Abweichungen entwickelte.

Für das Prinzip der großen Abweichungen betrachtet man eine beliebige Teilmenge A\subset{\bf R}^n. Man hat beispielsweise für eine solche Menge obere und untere Abschätzungen für den Abfall der Wahrscheinlichkeit, dass die Summe der Zufallsvariablen in A liegt: der Limes Inferior von \frac{1}{n}\ln P(\frac{1}{n}S_n\in A) ist mindestens das Negative des Infimums von \frac{\Vert x\Vert^2}{2} über das Innere von A, der Limes Superior ist höchstens das Negative des selben Infimums über den Abschluß von A. Das von Varadhan betrachtete allgemeine „Prinzip der großen Abweichungen“ nimmt dieselben Ungleichungen für eine allgemeine Familie von Zufallsvariablen ξn (statt \frac{1}{n}S_n) und geeignete Funktionen I(x) (statt \frac{\Vert x\Vert^2}{2}) an. Varadhan fand die allgemeine Fassung von Cramérs Abschätzungen (Varadhan‘s Lemma), falls ein solches Prinzip der großen Abweichungen gilt.

Mit seiner Arbeit “Asymptotic probability and differential equations” und einige Jahre danach mit seiner überraschenden Lösung des Polaronproblems der Quantenfeldtheorie sowie in späteren gemeinsamen Arbeiten mit Monroe Donsker formte Varadhan eine allgemeine Theorie großer Abweichungen, die weit mehr war als eine quantitative Verbesserung der Konvergenzraten. Sie beantwortete die Frage nach dem qualitativen Verhalten stochastischer Systeme, die eine große Abweichung erleben. Er entwickelte ein Variationsprinzip, das das unerwartete Verhalten durch ein neues probabilistisches Modell erklärt, mit dem eine gewisse Entropiedistanz gegenüber dem ursprünglichen Wahrscheinlichkeitsmaß minimiert wird.
Die Theorie war eine technische Kombination vieler mathematischer Gebiete, sie kombinierte Wahrscheinlichkeitstheorie mit konvexer Analysis, nichtlinearer Optimierung, Funktionalanalysis und partiellen Differentialgleichungen. Die Theorie großer Abweichungen ist viel subtiler als die Theorie klassischer Grenzwertsätze. Sie fand später eine überraschende Anwendung in der Beschreibung der Umgebung der Spur einer Molekularbewegung, der sogenannten Wiener Wurst.

Bild: https://www.maa.org/book/export/html/134828

Stichworte: , ,
Mehr

Kommentare (21)

  1. #1 Joseph Kuhn
    11. Februar 2021

    Komisch: Ohne auch nur einen Hauch davon zu verstehen, vermittelt das ein Gefühl davon, wie faszinierend Mathematik und ihre Weiterentwicklung sein kann.

  2. #2 hwied
    11. Februar 2021

    Ein wirklich interessantes Thema, zu dem es überzeugende Beispiele gibt. (Ich muss es nur noch finden) Dabei erzeugt ein Computer Zufallszahlen.
    Die Zufallszahlen werden als Koordinaten interpretiert, der Computer zeichnet die Zufallskurve. Der Wertebereich liegt dabei zwischen 0 und 20 für y.
    Diese Zufallskurve verläuft entlang einer Geraden , z.B. y = 10
    Und jetzt kommt das Seltsame. Wenn die ersten Zufallszahlen kleiner als 10 sind verläuft der größere Teil der Zufallskurve unterhalb von 10. Mit einigen Ausreisern natürlich
    Liegen die ersten Zahlen über 10 verläuft der größere Teil der Zufallskurve oberhalb von 10.
    Liegen die ersten Zahlen auf der Höhe von 10, dann kreuzt die Zufallskurve die Gerade mehrfach. Aber sobald ein Ausreiser kommt, z.B. 15 , dann verläuft die Kurve oberhalb von 10.
    Eine Erklärung habe ich noch nirgends gefunden.

  3. #3 echt?
    11. Februar 2021

    Ein – wieder immer – schöner Artikel. Noch schöner wäre mit mehr Information zu der Person, z.B., wie war seine akademische Laufbahn, warum ging er in die USA, wie kam es zu dem lobenden Gutachten?

  4. #4 Thilo
    11. Februar 2021

    Kolmogorow hatte Indien besucht und Varadhan dort kennengelernt, dadurch kam es zu dem Gutachten für die Dissertation. Warum Varadhan in die USA ging, weiß ich zwar nicht, wahrscheinlich aber einfach, weil dort in der Forschung mehr los war. (Wobei Forschung in Indien zu der Zeit auch einen großen Aufschwung erlebte, in Statistik vor allem durch das von C.R.Rao geleitete Institut in Kalkutta.)

  5. #5 HelmutK
    11. Februar 2021

    @hwied
    Das hängt dann wohl von der Art wie Zufallszahlen erstellt werden ab. Ich habe diese These mit Zufallszahlen aus Excel getestet und dort trifft sie auf den ersten Blick nicht zu.

    https://www.directupload.net/file/d/6091/5dbpsmm6_png.htm

    Verwendet wurden 1000 Zufallszahlen (0…20). Für die ersten 6 Zufallszahlen ist ermittelt wieviele kleiner 10 sind (Spalte I). Wenn dort zwischen 4 und 6 Zufallszahlen kleiner 10 sind, wurde die These in Spalte M geprüft. Die These trifft dort nur einmal zu, aber 4 mal nicht.
    Die sich automatisch mit ergebende These, daß wenn die ersten Zufallszahlen größer als der Durchschnitt sind, mehr Zufallszahlen oberhalb des Durchschnitts liegen, trifft 5 mal zu und 5 mal nicht zu.
    Wenn man das häufig genug wiederholt wird sich vermutl. ergeben, daß die These in 50 Prozent der Fälle zutrifft.

  6. #6 hwied
    11. Februar 2021

    HelmutK
    Die Sache ist etwa komplizierter als ich sie dargestellt habe.
    Wahrscheinlich müssen die Zufallszahlen für die “Zickzackkurve ” noch durch 10 dividiert werden.
    Ich weiß auch nicht mehr , ob die Zufallszahlen relative Werte darstellen, also zu den bestehenden Ordinaten addiert oder subrahiert werden.
    Hoffentlich finde ich den Artikel !

  7. #7 hwied
    11. Februar 2021

    HelmutK
    Leider habe ich den Artikel nicht mehr gefunden.
    Tipp: Quadriere die Zufallszahlen bevor du durch 10 dividierst.
    Wie lange verläuft dann die Zickzackkurve oberhalb der Geraden y=10

  8. #8 HelmutK
    11. Februar 2021

    @hwied
    Zahl = ((10*WURZEL(2)*ZUFALLSZAHL())^2)/10
    mit ZUFALLSZAHL() von 0…1

    läßt sich kürzen zu Zahl=20*ZUFALLSZAHL()^2

    Da die ZUFALLSZAHL() immer kleiner 1 ist, werden durch die Quadrierung sich die kleineren Zahlen vermehren. So ungefähr im Verhältnis 7 zu 3.

    Für Gleichstand müßte die Gerade bei y=5 gezogen werden.

  9. #9 hwied
    12. Februar 2021

    Helmut K
    stimmt, zu diesem Ergebnis bin ich auch gekommen.
    Aus der Erinnerung. Es ging damals um Spieletheorie. Es wurde gezeigt, dass es eine Ordnung im Zufall gibt.
    Und die hing vom Anfangswert ab.

    Hier habe ich etwas Ähnliches. Es geht um die Brownsche Bewegung und wie die sich math. darstellen lässt.
    Hier steht die Erklärung;
    Unabhängige Gaußsche Zufallszahlen ergeben aufsummiert ein grobes Modell der Brownschen Bewegung. Die Gerade ist dabei die Zeitachse.
    Vertikal ist die Bewegung des Teilchens dargestellt.
    Sagt dir der Begriff “zufällige Mittelpunktsverschiebung” etwas ?
    Noch eine Erklärung.
    Das Teilchen bewegt sich vollkommen unkorreliert auf und ab, wenn das Teilchen in einem Zeitabschnitt an Höhe gewinnt, sind die Chancen für eine Beibehaltung und für eine Änderung dieser Tendenz genau 50:50.

    Das heißt, wenn die kurve nach unten verläuft, verschiebt sich die Tendenz zu einer weitern Abnahme.
    Aus dem Buch: Bausteine des Chaos Fraktale

  10. #10 Fluffy
    12. Februar 2021

    @ #0
    Ein wieder mal interessanter Beitrag, von sehr hohem Abstraktionsniveau. Ich weiß natürlich nicht, ob es eine Zielgruppe gibt, aber die Kumulante und die Legendre-Transformatio musste ich auch erst mal nachschlagen.
    Ich, persönlich, würde es durchaus auflockernd finden, wenn manche Sachen an Hand von ruhig auch trivialen Beispielen eine gewisse Anschaulichkeit erfahren würden. Wie z.B. der folgende Satz.

    Er berechnete für unabhängige identisch verteilte Zufallsvariablen ξ1,…,ξn mit Mittel μ und Sn=ξ1+…+ξn den Grenzwert \lim_{n\to\infty}\frac{1}{n}\ln P(\frac{1}{n}S_n\ge x)=-\phi^*(x) für x≥μ bzw. \lim_{n\to\infty}\frac{1}{n}\ln P(\frac{1}{n}S_n\le x)=-\phi^*(x) für x≤μ, wobei φ* die Fenchel-Legendre-Transformierte der zu ξi assoziierten kumulantenerzeugenden Funktion \phi(\lambda)=\ln E(e^{\lambda\xi})

    Für eine Normalverteilung kann man mit etwas Mühe die Kumulante und ihre Legendre-Transformation analytisch berechnen, und wenn ich mich nicht vertan habe, ergibt das mit Mittelwert µ und Streuung σ
    für die Kumulante Φ(x) = xµ + (x^2 σ^2)/2 und deren
    Legendre-Transformierte Φ*(x) = (x-µ)^2/(2σ^2).
    Wenn ich obige Relation jetzt mal x=µ betrachte, erhalte ich wegen Φ*(µ)=0, für große n die Abschätzung (mal unter Weglassung des lim) folgende Abschätzung
    P(Sn/n ≥ µ) = 1 sowie P(Sn/n ≤ µ) = 1 . Rein intuitiv hätte ich den Wert 1/2 erwartet.
    Wo ist mein Denkfehler?

  11. #11 HelmutK
    12. Februar 2021

    @hwied

    Aus der Erinnerung. Es ging damals um Spieletheorie. Es wurde gezeigt, dass es eine Ordnung im Zufall gibt.

    Wenn das Zufallszahlenspiel ein Beleg dafür sein soll, dann verstehe ich den nicht. Wenn ich Zufallszahlen zwischen 0 und 1 erzeuge, sind die bei entsprechend großer Anzahl gleichverteilt.

    50 Prozent kleiner 0,5 und 50 Prozent größer als 0,5.

    Quadriert man die Zufallszahlen wird aus dem Zahlenintervall 0…0,5 das Zahlenintervall 0…0,25. Das ergibt:

    a) 50 Prozent kleiner 0,25 und 50 Prozent größer als 0,25 oder

    b) Wurzel(0,5) kleiner 0,5 und 1-Wurzel(0,5) größer als 0,5 (ca. 7/3)

    Und das kommt inetwa in Excel auch dabei raus. Also genau, daß was ich erwartet habe. Wo da eine Ordnung im Zufall zu finden sein soll, verstehe ich nicht?

  12. #12 Echt?
    12. Februar 2021

    Danke fü die Ergänzung!

  13. #13 Thilo
    12. Februar 2021

    @Fluffy Der Grenzwert \lim_{n\to\infty}\frac{1}{n}\ln(\frac{1}{2})=0 stimmt mit \phi^*(\mu) überein. Man bekommt aus dem Grenzwert nur den Exponenten des exponentiellen Abfalls von P für große n, nicht den genauen Wert von P.

  14. #14 hwied
    12. Februar 2021

    Helmut K
    zu 100 % richtig. Darum ist es ja so wichtig, dass ich den Artikel finde. Es ist schon 30 Jahre her. Sorry.
    Noch ein Tipp. Ich hatte damals ein Programm geschrieben für ein Autorennen. Die Geschwindigkeiten der Fahrzeuge errechnete sich durch das Aufsummieren von Zufallszahlen. So konnte man den Sieger nicht vorhersagen. Die Unterschiede zwischen den Fahrzeugen war aber so gering, dass das für Kinder keinen Spaß mehr machte. Also mussten große Unterschiede her und trotzdem durfte nicht immer der gleiche gewinnen.
    Also habe ich das mit unterschiedlichen Anfangswerten gemacht , die auch eine Zufallszahl waren. aber höher gewichtet wurden.

  15. #15 HelmutK
    12. Februar 2021

    @hwied

    Darum ist es ja so wichtig, dass ich den Artikel finde. Es ist schon 30 Jahre her. Sorry..

    Kein Problem, ist mir auch schon häufiger passiert.

    Also habe ich das mit unterschiedlichen Anfangswerten gemacht , die auch eine Zufallszahl waren. aber höher gewichtet wurden.

    Klar das geht, weil das Zahlenintervall, aus denen die Zufallszahlen geholt werden, sich dann ständig ändert.

    Da gab es mal eine Gruppe, welche die Zufallszahlen der Glücksautomaten vorhersagen konnte, und damit eine zeitlang die Casinos ausgenommen haben. Zu der Zeit wurden die Zufallszahlen der Glücksautomaten nicht jedesmal neuberechnet, sondern von einem Datenband ausgelesen. Darauf waren viele Millionen Zufallszahlen gespeichert, die in einer Endlosschleife wiederholt wurden.

    Die Glücksritter waren Mitarbeiter der Firma welche die Automaten herstellte und diese konnten nach einigen dutzend Spielen mit elektr. Hilfsmitteln ermitteln, wo man sich gerade auf dem Zufallszahlenband befand. Und ab da vorhersagen welche Spiele man verliert oder gewinnt.

    Die Casinos haben alsbald reagiert und die Nutzung elektr. Hilfsmittel verboten. Mittlerweile kann man in Casinos vermutl. nur noch dauerhaft Gewinn machen, wenn man nicht selbst spielt, sondern mit anderen Spielern Wetten abschließt.

  16. #16 Wilhelm Leonhard Schuster
    Ansbach
    12. Februar 2021

    Frage : Münzwurf Adler oder Zahl ?
    Angenommen 1000 Würfe !
    Normal müßte doch ca. Halbe, Halbe sein.

    Hat schon irgendwann jemand untersucht, in wie weit die “Wunschdenke”: Ich will nur Adler oder nur Zahl werfen , das Ergebnis “beeinflußt”?

    Inwieweit kann der Fall der Roulett Kugel von der Denke beeinflußt werden? ( Große Gewinnspieler versuchen etliche Casinos fernzuhalten?) !

  17. #17 hwied
    12. Februar 2021

    Schuster,
    Das Zauberwort heißt Intuition.
    Ich kannte Spieler, die haben nicht gespielt um des Reizes willen, sondern um zu leben. Das geht tatsächlich, wenn man ab einer bestimmten Grenze aufhört zu spielen.
    Ich habe selbst mal im Tivoli in Kopenhagen nur auf Gewinn gespielt und rechtzeitig aufgehört.
    Auch bei den Pennyfalls geht das. Man bekommt im Laufe der Zeit einen Blick dafür ob man gewinnen kann oder nicht.

  18. #18 echt?
    13. Februar 2021

    Interessant wäre mal ein Artikel zu aktuellen und früheren Zufallsgeneratoren, da die ja gerade bei der Vergabe “überzähliger” Impfdosen eine große Rolle spielen.

  20. #20 hwied
    14. Februar 2021

    Thilo,
    so wie das beschrieben ist, wird man doppelte Zufallszahlen bekommen.

  21. #21 Theorema Magnum – Mathlog
    14. Januar 2022

    […] Der Satz von Feit-Thompson Der Atiyah-Singer-Indexsatz Auflösung der Singularitäten Das Prinzip der großen Abweichungen Lusins Vermutung Strukturelle Stabilität hyperbolischer Systeme Das Yoga der Motive Konvergente […]