In Deutschland hatte Felix Klein um die Jahrhundertwende – beeindruckt von Maschinenlaboratorien, die er auf seiner ersten USA-Reise besichtigt hatte – bei Industriellen für privat mitfinanzierte Universitätslaboratorien geworben, was letztlich zur Gründung der Göttinger Vereinigung zur Förderung der angewandten Physik und Mathematik führte. Als Begründer der numerischen Mathematik galt dann Carl Runge, dem man die Etablierung numerischer Rechen- und Approximationsverfahren (und ihrer praktischen Durchführung mit Rechenmaschinen) als eigene Disziplin der Mathematik verdankt.
Während des zweiten Weltkrieges arbeiteten die in Deutschland gebliebenen Mathematiker an vorgeblich kriegswichtigen Problemen, in Wirklichkeit meist an theoretischen Untersuchungen zu Differentialgleichungen. Nach dem Krieg kehrten die meisten sofort zur reinen Mathematik zurück. Hingegen kam zunächst kaum einer der Emigranten zurück. Anders als in Deutschland hatten in den USA Mathematiker und Naturwissenschaftler, oft aus Europa geflüchtet, eine wesentliche Rolle bei der Entwicklung neuer Waffen gespielt.
Auf Einladung Oppenheimers war John von Neumann seit 1943 als Berater beim Manhattan-Projekt in Los Alamos, wo er bald ein Experte in numerischen Berechnungen für partielle Differentialgleichungen wurde. Er führte mit hartnäckigem Interesse umfangreiche Rechnungen aus und war – für einen Mathematiker eher ungewöhnlich – stolz auf ausdauernde und sorgfältig ausgeführte Berechnungen.
Anfang der 1940er Jahre hatte man begonnen, sich für digitale elektromagnetische Computer und deren Vorteile gegenüber Lochkarten zu interessieren. Fortschritte bei der Rechengeschwindigkeit waren zunächst nur durch bessere Röhrentechnik zu erzielen. Noch im Krieg hatte IBM die erste Maschine fertiggestellt, natürlich fürs Militär. Die Rechenmaschine mit Vakuumröhren im Rechenwerk und mit auf Aussagenlogik beruhenden Schaltungen wurde beim Militär für lineare Differentialgleichungen und Integralgleichungen eingesetzt: der “Electrical Numerical Integrator and Computer”, kurz ENIAC, mit 17000 Radioröhren von 16 verschiedenen Typen, 30 mal 3 mal 1 Meter groß und mit einem Verbrauch von 140 Kilowatt und entsprechendem Kühlungsbedarf.
Man sah aber keine reale Möglichkeit, die die Speicherkapazität von Rechnern in einem Maße ausweiten würde wie es für die Behandlung nichtlinearer partieller Differentialgleichungen notwendig wäre. Viele Mathematiker hielten auch elektronische Konstruktionen für weniger zuverlässig als elektromechanische und lehnten sie deshalb ab trotz ihrer viel höheren Schnelligkeit.
Die Konstruktion einer solchen elektronischen Maschine wurde das Projekt von Neumanns, für das er zunächst mit der logischen Entwurfsarbeit begann. 1944/45 befaßte er sich mit den logischen Operationen – denen gegenüber er die elektronischen Aspekte als untergeordnet ansah – und wie diese Operationen von einer zentralen Stelle zu koordinieren seien. Ein theoretisches Konzept hatte schon 1936 Alan Turing entwickelt und von Neumanns Ideen waren eine konkrete Realisierung einer universellen Turingmaschine. In seinem Diskussionspapier „First Draft of a Report on the EDVAC“ definierte er in Analogie zum menschlichen Hirn eine Rechnerarchitektur aus Steuereinheit und arithmetischer Einheit sowie einer Speichereinheit, welche Befehle seriell abarbeitet. Auf den dort dargestellten Ideen beruhten dann alle weiteren Entwicklungen von Rechnern, weshalb man von „von-Neumann-Architektur“ spricht. (Die Ingenieure Eckert und Mauchly, die Erbauer des ENIAC und des Nachfolgemodells EDVAC, sahen ihre Anteile später nicht genügend gewürdigt.)
Weil die ENIAC und ihre Nachfolger sehr wenig Speicherplatz für Zwischenresultate hatten, änderte sich die Ökonomie der Berechnungen über Nacht. Statt teurer Multiplikation und billigem Speicherplatz war jetzt die Multiplikation sehr billig und der Speicherplatz sehr teuer.
Neben den Grundlagen der Informatik (und vielen anderen Fragen, so entwickelte er den Sortieralgorithmus Mergesort und mit Ulam die Monte-Carlo-Methode) beschäftigte sich von Neumann in der Nachkriegszeit auch mit den Grundlagen der Numerik, er entwickelte die numerische Stabilitätsanalyse und schrieb mit Goldstine eine Arbeit über die Konditionierung linearer Gleichungssysteme. Goldstine beschrieb die Motivation später so: „Wir versuchten in unserer Arbeit, die Praktiker vor einem Phänomen zu warnen, dass in der Vergangenheit nicht besonders relevant gewesen war, aber in der Zukunft eine konstante Quelle der Angst sein würde: numerische Instabilität. Dabei entwickelten wir auch die heute offensichtlichen Begriffe von gut- und schlecht-konditionierten Matrizen.“
Die effektive Bestimmung von Näherungslösungen ist natürlich schon seit dem Altertum – damals vor allem in China und Indien – ein Thema der Mathematik. Bis ins 19. Jahrhundert entstanden numerische Methoden aber stets im Kontext technischer oder naturwissenschaftlicher Anwendungen und stellten kein eigenständiges Gebiet der Mathematik dar. Neben dem Gaußschen Eliminationsverfahren und dem Gauß-Jordan-Algorithmus zur Lösung linearer Gleichungssysteme wurden etwa zur Lösung gewöhnlicher Differentialgleichungen das Runge-Kutta-Verfahren (Einschrittverfahren) und das Adams-Moulton-Verfahren (Mehrschrittverfahren), und zur Lösung partieller Differentialgleichungen beispielsweise die Rayleigh-Ritz-Methode, die man als Vorgänger der Finite-Elemente-Methode sehen kann, entwickelt. Auch diese Verfahren entstanden jeweils im Zusammenhang mit konkreten Anwendungsgebieten, das Runge-Kutta-Verfahren etwa in der Aerodynamik. Berechnungen wurden in dieser Zeit noch mit einfachen Geräten durchgeführt.
Ersetzt man bei den klassischen linearen Differentialgleichungsproblemen der mathematischen Physik die Differentialquotienten durch Differenzenquotienten in einem rechtwinkligen Gitter, so gelangt man zu algebraischen Problemen von sehr einfacher Struktur. Diese Endliche-Differenzen-Methoden hatten u.a. in einer Arbeit von Richardson 1910 und in einer Arbeit von Courant-Friedrichs-Lewy 1928 eine Rolle gespielt. In letzterer ging es aber nicht um die Lösung praktischer Probleme, sondern um Existenz- und Eindeutigkeitsbeweise für elliptische Rand- und Eigenwertprobleme. Die Autoren bewiesen an einigen typischen Beispielen, dass der Grenzübergang stets möglich ist, also dass die Lösungen der Differenzengleichungen gegen die Lösung der entsprechenden Differentialgleichung konvergieren. Durch den Grenzübergang erhält man also insbesondere einen einfachen Beweis für die Lösbarkeit der Differentialgleichungen.
Während bei elliptischen Gleichungen einfache und weitgehend von der Wahl des Gitters unabhängige Konvergenzverhältnisse herrschen, ist beim Anfangswertproblem hyperbolischer Gleichungen – z.B. der Wellengleichung – Konvergenz im Allgemeinen nur vorhanden, wenn die Verhältnisse der Gittermaschen in verschiedenen Richtungen gewissen Ungleichungen genügen, die von der Lage der Charakteristiken zum Gitter bestimmt werden. Insbesondere bewiesen Courant-Friedrichs-Lewy, dass das explizite Polygonzugverfahren nur dann stabil (unempfindlich gegenüber kleinen Störungen der Daten) ist, wenn die Ungleichung
Die 1947 im Bulletin of the American Mathematical Society veröffentlichte Arbeit „Numerical inverting of matrices of high order“ von Goldstine und von Neumann wurde später als Beginn der numerischen linearen Algebra und überhaupt der modernen numerischen Mathematik angesehen, weil sie als eine der ersten Rundungsfehler und ihre Fortpflanzung diskutierte. In der Sache war sie hauptsächlich eine detaillierte Analyse der Rundungsfehler für Methoden der Faktorisierung und Inversion von Matrizen. Für invertierbare Matrizen A führte sie die Konditionszahl
Die Konditionszahl mißt die Abhängigkeit der Lösung von Störungen der Eingangsdaten. Probleme mit κ>1 sind schlecht konditioniert, bei κ=10k verliert man ungefähr k Stellen an Genauigkeit. Probleme mit κ=∞ bezeichnet man als schlechtgestellt. (Bei linearen Gleichungssystemen ist das der Fall, wenn die zugehörige Matrix singulär ist, also det(A)=0. Der Begriff schlechtgestellter Probleme geht auf Hadamard zurück. Er bezeichnete so Probleme, bei denen mindestens eine von drei Bedingungen nicht erfüllt ist: die Lösung existiert, ist eindeutig und hängt stetig von den Eingangsdaten ab. Letzteres bezeichnet man als Stabilität.)
Im ersten Kapitel ihrer Arbeit diskutierten Goldstine und Neumann die möglichen Fehlerquellen bei numerischen Berechnungen. In heutiger Sprache spricht man von Kondition, Stabilität und Konsistenz. Kondition beschreibt die Abhängigkeit der exakten Lösung von den Eingangsdaten, Stabilität die Abhängigkeit des Verfahrens von den Eingangsdaten und Konsistenz mißt, wie gut für hinreichend kleine Schrittweiten die Näherungslösungen (bei exakten Eingangsdaten) die tatsächlichen Lösungen approximieren. Konsistenz wird oft mit Taylor-Reihen-Entwicklungen bewiesen und in der Regel folgt aus Konsistenz und Stabilität die Konvergenz des Verfahrens. (Hingegen zeigten einige Beispiele von Courant-Friedrichs-Lewy, dass aus Stabilität eines Problems nicht notwendig die Stabilität eines leicht gestörten Problems folgt. Insbesondere folgt aus guter Konditionierung nicht unbedingt die Stabilität eines Näherungsverfahrens.)
Die numerische Stabilitätsanalyse begann ebenfalls mit von Neumann und mit einer 1947 veröffentlichten Arbeit von Crank-Nicholson über die Stabilität von Endliche-Differenzen-Verfahren zur Lösung von Differentialgleichungen.
Die Arbeit von Neumann-Goldstine war auch dadurch motiviert, dass unter angewandten Mathematikern divergierende Meinungen herrschten über die Zuverlässigkeit numerischer Verfahren zur Lösung linearer Gleichungssysteme, insbesondere auch des Gaußschen Eliminationsverfahrens für das numerische Invertieren von Matrizen der Ordnung mindestens 10. (Für Matrizen kleinerer Ordnung lohne sich die Analyse nicht, meinten sie.) Als wichtigste Motivation nennen sie aber, dass bisher nur Stabilitätsfragen untersucht worden seien und sie erstmals, und zwar an einem möglichst schwierigen Beispiel mit sehr vielen elementaren Operationen, die Konditionierung untersuchen wollten.
In der Einleitung ihrer Arbeit fassen sie ihre Ergebnisse so zusammen, dass zum Beispiel Matrizen der Ordnung 10, 15 oder 20 „meistens“ mit einer Genauigkeit von 8, 10 oder 12 weniger Ziffern als die Anzahl der Ziffern der Eingabe invertiert werden können. Mit „meistens“ meinen sie, dass unter Annahme einer plausiblen Wahrscheinlichkeitsverteilung auf den Matrizen diese Abschätzungen für alle Matrizen mit Ausnahme einer Minderheit geringer Wahrscheinlichkeit erfüllt sind. Diese Berechnungen fußten auf rigorosen individuellen Abschätzungen, die für alle Matrizen gültig sind. Mit einer wahrscheinlichkeitstheoretischen Behandlung der individuellen Matrizen hätten sie die Abschätzungen noch um einige Dezimalstellen verbessern können. (Sie erwähnen noch, dass sie keine Anstrengungen unternommen hätten, um optimale Abschätzungen zu beweisen, dass sie ihre Ansätze und die Abschätzungen für praktisch anwendbare Größenordnungen aber für optimal hielten.)
Eine allgemeinere Definition von Konditionszahlen gab kurz danach Alan Turing. Die Konditionszahl von Goldstine-Neumann entspricht in seiner Definition der L2-Konditionszahl.
Von Neumann galt damals allgemein als der kosmopolitischste, vielseitigste und intelligenteste Mathematiker des Jahrhunderts. Dass die Mathematik bei der intellektuellen Elite der USA an Interesse gewann, wurde ihm zugeschrieben. Neben seiner Tätigkeit in Princeton hatte er zahlreiche Beraterposten inne. Später würde er seine Forschungstätigkeit aufgeben um Mitglied der Atomenergiekomission zu werden. Er befürwortete einen Erstschlag gegen die Sowjetunion und verteidigte Atomtests. Er liebte teure Kleidung, hochprozentige Getränke, schnelle Autos und schmutzige Witze. Ein Außerirdischer, der gelernt hatte, einen Menschen perfekt nachzumachen, so beschrieb ihn mal jemand.
In der Nachkriegszeit gab es dann auch zeitweilig Computer am Institute for Advanced Study, obwohl man dort sonst keine experimentellen oder Ingenieurwissenschaften förderte. Es wurden vier Arbeitsgruppen gegründet: die Gruppe „Computer architecture und science“ sollte sich Gedanken über den grundsätzlichen Aufbau von Computern machen, eine weitere Gruppe beschäftigte sich mit numerischer Mathematik, eine andere, deren Arbeit schnell obsolet wurde, mit dem Entwurf und der Herstellung von Computern. Die vierte Gruppe bekam die Aufgabe, ein Problem mit Computern zu bearbeiten, das man auch dem Laien erklären konnte. So sollte die öffentliche Meinung für die Bereitstellung von Mitteln eingenommen werden. Von Neumann wählte als Problem für diese Gruppe die Meteorologie, 1950 entstand die erste im Computer berechnete Wettervorhersage.
Kommentare (20)