In Deutschland hatte Felix Klein um die Jahrhundertwende – beeindruckt von Maschinenlaboratorien, die er auf seiner ersten USA-Reise besichtigt hatte – bei Industriellen für privat mitfinanzierte Universitätslaboratorien geworben, was letztlich zur Gründung der Göttinger Vereinigung zur Förderung der angewandten Physik und Mathematik führte. Als Begründer der numerischen Mathematik galt dann Carl Runge, dem man die Etablierung numerischer Rechen- und Approximationsverfahren (und ihrer praktischen Durchführung mit Rechenmaschinen) als eigene Disziplin der Mathematik verdankt.
Während des zweiten Weltkrieges arbeiteten die in Deutschland gebliebenen Mathematiker an vorgeblich kriegswichtigen Problemen, in Wirklichkeit meist an theoretischen Untersuchungen zu Differentialgleichungen. Nach dem Krieg kehrten die meisten sofort zur reinen Mathematik zurück. Hingegen kam zunächst kaum einer der Emigranten zurück. Anders als in Deutschland hatten in den USA Mathematiker und Naturwissenschaftler, oft aus Europa geflüchtet, eine wesentliche Rolle bei der Entwicklung neuer Waffen gespielt.

Auf Einladung Oppenheimers war John von Neumann seit 1943 als Berater beim Manhattan-Projekt in Los Alamos, wo er bald ein Experte in numerischen Berechnungen für partielle Differentialgleichungen wurde. Er führte mit hartnäckigem Interesse umfangreiche Rechnungen aus und war – für einen Mathematiker eher ungewöhnlich – stolz auf ausdauernde und sorgfältig ausgeführte Berechnungen.

Anfang der 1940er Jahre hatte man begonnen, sich für digitale elektromagnetische Computer und deren Vorteile gegenüber Lochkarten zu interessieren. Fortschritte bei der Rechengeschwindigkeit waren zunächst nur durch bessere Röhrentechnik zu erzielen. Noch im Krieg hatte IBM die erste Maschine fertiggestellt, natürlich fürs Militär. Die Rechenmaschine mit Vakuumröhren im Rechenwerk und mit auf Aussagenlogik beruhenden Schaltungen wurde beim Militär für lineare Differentialgleichungen und Integralgleichungen eingesetzt: der “Electrical Numerical Integrator and Computer”, kurz ENIAC, mit 17000 Radioröhren von 16 verschiedenen Typen, 30 mal 3 mal 1 Meter groß und mit einem Verbrauch von 140 Kilowatt und entsprechendem Kühlungsbedarf.
Man sah aber keine reale Möglichkeit, die die Speicherkapazität von Rechnern in einem Maße ausweiten würde wie es für die Behandlung nichtlinearer partieller Differentialgleichungen notwendig wäre. Viele Mathematiker hielten auch elektronische Konstruktionen für weniger zuverlässig als elektromechanische und lehnten sie deshalb ab trotz ihrer viel höheren Schnelligkeit.
Die Konstruktion einer solchen elektronischen Maschine wurde das Projekt von Neumanns, für das er zunächst mit der logischen Entwurfsarbeit begann. 1944/45 befaßte er sich mit den logischen Operationen – denen gegenüber er die elektronischen Aspekte als untergeordnet ansah – und wie diese Operationen von einer zentralen Stelle zu koordinieren seien. Ein theoretisches Konzept hatte schon 1936 Alan Turing entwickelt und von Neumanns Ideen waren eine konkrete Realisierung einer universellen Turingmaschine. In seinem Diskussionspapier „First Draft of a Report on the EDVAC“ definierte er in Analogie zum menschlichen Hirn eine Rechnerarchitektur aus Steuereinheit und arithmetischer Einheit sowie einer Speichereinheit, welche Befehle seriell abarbeitet. Auf den dort dargestellten Ideen beruhten dann alle weiteren Entwicklungen von Rechnern, weshalb man von „von-Neumann-Architektur“ spricht. (Die Ingenieure Eckert und Mauchly, die Erbauer des ENIAC und des Nachfolgemodells EDVAC, sahen ihre Anteile später nicht genügend gewürdigt.)

Weil die ENIAC und ihre Nachfolger sehr wenig Speicherplatz für Zwischenresultate hatten, änderte sich die Ökonomie der Berechnungen über Nacht. Statt teurer Multiplikation und billigem Speicherplatz war jetzt die Multiplikation sehr billig und der Speicherplatz sehr teuer.
Neben den Grundlagen der Informatik (und vielen anderen Fragen, so entwickelte er den Sortieralgorithmus Mergesort und mit Ulam die Monte-Carlo-Methode) beschäftigte sich von Neumann in der Nachkriegszeit auch mit den Grundlagen der Numerik, er entwickelte die numerische Stabilitätsanalyse und schrieb mit Goldstine eine Arbeit über die Konditionierung linearer Gleichungssysteme. Goldstine beschrieb die Motivation später so: „Wir versuchten in unserer Arbeit, die Praktiker vor einem Phänomen zu warnen, dass in der Vergangenheit nicht besonders relevant gewesen war, aber in der Zukunft eine konstante Quelle der Angst sein würde: numerische Instabilität. Dabei entwickelten wir auch die heute offensichtlichen Begriffe von gut- und schlecht-konditionierten Matrizen.“

1 / 2 / 3 / Auf einer Seite lesen

Kommentare (18)

  1. #1 echt?
    8. Oktober 2020

    Sehr interessant!

  2. #2 Rufus Quintex
    9. Oktober 2020

    John von Neumann, ein Experte in numerischen Berechnungen für partielle Differentialgleichungen, löste Einsteins partielles Differentialgleichungssystem numerisch nicht.

    Erst Anfang des 3ten Milleniums wurden nicht divergierende numerische Algorithmen gefunden.

    Kurz darauf wurden Gravitationswellen gefunden.

  3. #3 Fluffy
    20:22
    9. Oktober 2020

    Wer war Einst ein?
    Mal ne echte Frage, wie ist hier die Norm einer Matrix definiert?

  4. #4 Jan
    9. Oktober 2020

    @Fluffy:
    Wie für Vektoren gibt es auch für Matrizen jede Menge unterschiedliche Normen. Und wie Vektornormen sind auch Matrixnormen im endlichdimensionalen alle äquivalent, so dass es oft keine Rolle spielt, welche Matrixnorm man verwendet.

    Oft nimmt man die von einer Vektornorm induzierte Matrixnorm. Für eine Matrix A ist das das Maximum von |A x|, wobei x alle Vektoren mit |x| = 1 durchläuft.

    Wenn die Vektornorm die euklidische Norm ist und die Matrix A hermitesch ist, dann ist die induzierte Matrixnorm der Betrag des betragsmäßig größten Eigenwerts von A.

  5. #5 Fluffy
    21:48
    9. Oktober 2020

    Ich verweise mal auf die oben genannte Konditionzahl kappa = ||A|| ||A^-1||

  6. #6 Thilo
    9. Oktober 2020

    Da ist die Operatornorm gemeint, also die maximale Norm von Ax für Einheitsvektoren x. Es würde aber, wie von Jan gesagt, nur quantitativ und nicht qualitativ etwas ändern, wenn man eine andere Matrixnorm verwendet.

  7. #7 Karl-Heinz
    9. Oktober 2020

    @Fluffy

    Summennorm, euklidische Norm, Maximumsnorm, Spaltensummennorm, Zeilensummennorm, Spektralnorm, Gesamtnorm, Frobeniusnorm, Schatten-Normen, Ky-Fan-Normen

    Sag jetzt nicht, du kennst dich da aus.
    kappa = ||A|| ||A^-1||
    Oh … tust da Einheitskugel verzehren äh ich meinte verzerren. 😉

  8. #8 Karl Mistelberger
    mistelberger.net
    9. Oktober 2020

    Ein paar Ergänzungen

    Gauss schrieb an Gerling, das er ein iteratives Verfahren anwende und rühmt ausführlich die Vorteile der Methode.

    Über Stationsausgleichungen: GAUSS an GERLING 1823 Dec

    https://gdz.sub.uni-goettingen.de/id/PPN23601515X?tify=%7B%22pages%22:%5B284%5D%7D

    Richard Feynman war auch dafür bekannt, dass er ganze Bataillone von Rechnern koordinierte und motivierte. Die Männer waren im Krieg, sodass die Frauen den Job erledigten.

    John Argyris brachte sein Knowhow in die Bundesrepublik mit:

    https://www.uni-stuttgart.de/presse/archiv/uni-kurier/uk93/personalia/inmemoriam.html

    Mein PC aus 2016 hatte ca. 1000 € gekostet und leistet 250 GFLOPS, ungefähr das 100.000-fache der CDC 6700, für die Argyris in den Sechzigern US $2,370,000 (heute $19,540,000) bezahlen musste.

  9. #9 Karl-Heinz
    9. Oktober 2020

    @Rufus Quintex

    John von Neumann, ein Experte in numerischen Berechnungen für partielle Differentialgleichungen, löste Einsteins partielles Differentialgleichungssystem numerisch nicht.

    Hätte er mit den damaligen Röhren und Bipolartransistor eine Chance dazu gehabt?
    Was meinst du?

  10. #10 Thilo
    9. Oktober 2020

    Ich weiß sowieso nicht, was damit gemeint sein soll. Die Einstein-Gleichung im Vakuum? Oder zu einer völlig beliebigen Verteilung des Energie-Impuls-Tensors?

  11. #11 Karl Mistelberger
    mistelberger.net
    9. Oktober 2020

    > #9 Karl-Heinz, 9. Oktober 2020
    >> John von Neumann, ein Experte in numerischen Berechnungen für partielle Differentialgleichungen, löste Einsteins partielles Differentialgleichungssystem numerisch nicht.

    > Hätte er mit den damaligen Röhren und Bipolartransistor eine Chance dazu gehabt? Was meinst du?

    Neutronentransport ist in der Praxis ein vertracktes Problem, doch zur Not ist es auch ohne Röhren und Bipolartransistor zu lösen:

    http://static.sif.it/SIF/resources/public/files/congr15/mc/Coccetti.pdf

  12. #12 Karl Mistelberger
    mistelberger.net
    9. Oktober 2020

    Apropos: Stan Ulam, John von Neumann and the Monte Carlo Method

    http://www-star.st-and.ac.uk/~kw25/teaching/mcrt/MC_history_3.pdf

  13. #13 Fluffy
    10:22
    9. Oktober 2020

    kappa = ||A|| ||A^-1||

    Wie ist das mit nicht-hermiteschen Matrizen?

  14. #14 Thilo
    9. Oktober 2020

    Die Matrizen sind reell und invertierbar, sonst aber beliebig.

  15. #15 Karl-Heinz
    9. Oktober 2020

    @Karl Mistelberger zu #11

    Beneidenswert, die sind doch wirklich mit dem
    Monte-Carlo-Wagen zwei Jahre durch die Gegend gefahren. 😉

  16. #16 Fluffi
    9. Oktober 2020

    O.k. es sollte , anschaulich formuliert
    gemäß der üblichen Euklidischen Norm ||x||² = x* x
    X* der konjugiert komplexe Wert, analog dann für Matritzen
    ||A||² = Maximaler Eigenwert von A*.A,
    A* transponiert-konjugierte Matrix (adjungierte)
    Da A*A positiv definit ist dann
    kappa = ||A|| ||A^-1|| die Wurzel aus dem Quotienten von maximalem und minimalem Eigenwert von A*A

  17. #17 Thilo
    9. Oktober 2020

    Ein einfaches Beispiel einer nicht-Hermiteschen Matrix wäre eine Dreeicksmatrix. Nehmen wir der Einfachheit halber eine 2×2-Dreiecksmatrix mit Einsen auf der Diagonale und einer 10 rechts oben. Dann ist die Operatornorm ungefähr 10,05, also viel größer als der größte Eigenwert.

  18. #18 Rufus Quintex
    12. Oktober 2020

    Selbst John von Neumann konnte als einer der größten Mathematiker seiner Zeit Einstein’s vierdimenionales Weißgold, Einstein verschmolz die jeweils reinen Körperelemente x,y,z und i*c*t zu einem Mischkörper, nicht in ein Differenzengleichungssystem umwandeln, weil das mathematisch unmöglich ist.
    Und so mussten Arnowitt-Deser-Misner zu Lebzeiten Neumanns in den 50ern die 3+1-Zerlegung durchführen, um mit Differenzengleichungen im R3 rechnen zu können.

    Thilos folgender Satz ist richtig, wenn Differenzengleichungen gebildet werden können, was im reinen Rn immer möglich ist:

    Die Autoren bewiesen an einigen typischen Beispielen, dass der Grenzübergang stets möglich ist, also dass die Lösungen der Differenzengleichungen gegen die Lösung der entsprechenden Differentialgleichung konvergieren.

    Offtopic
    Natalia Kiriushcheva und Sergei V. Kuzmin schreiben im Artikel The Hamiltonian formulation of general relativity: myths and reality, dass die Differentialgleichungen von Einstein streng hyperbolisch (SH) aber die entsprechenden Differenzengleichungen von Arnowitt-Deser-Misner (ADM, 3+1-Zerlegung) schwach hyperbolisch (WH) sind.
    SH-Systeme konvergieren. WH-Systeme divergieren in der Regel, weswegen in ADM Nebenbedingungen (constraints) oder spezielle lapse- und shift-Funktionen verwendet werden müssen.