StartseiteMathlog

Ein Google-Doodle für die Informationstheorie

Von / 30. April 2016 / 2 Kommentare
Mehr

Das heutige Google-Doodle zeigt Claude Shannon beim Jonglieren mit den Binärzahlen 0 und 1:

Anlaß ist Shannons hundertster Geburtstag heute.

Seine Schrift “A mathematical theory of communication” findet sich inzwischen nicht nur online, sie hat sogar einen eigenen Wikipedia-Artikel.
Zur Bedeutung dieses Werks für die Entwicklung unserer Informationstechnologien ist heute anderswo schon geschrieben worden, zum Beispiel in der Huffington Post.
Ich will hier nur ergänzen, dass Varianten des von Shannon eingeführten Entropie-Begriffs heute auch außerhalb der Informationstheorie von Bedeutung in der Mathematik sind.
Die Komplexität dynamischer Systeme wird mit der Kolmogorow-Sinai-Entropie gemessen, Sinai erhielt vor zwei Jahren den Abelpreis für seine Arbeiten aus den 50er Jahren über diesen Entropiebegriff. (Die Kolmogorow-Sinai-Entropie ist ursprünglich nur für maßerhaltende dynamische Systeme definiert, für beliebige dynamische Systeme gibt es aber die allgemeiner definierte Topologische Entropie.)
Während man bei der Kolmogorow-Sinai-Entropie den Zusammenhang mit Shannons Entropie-Begriff sicher noch auf Anhieb erkennen kann, ist dieser Zusammenhang bei differentialgeometrischen Begriffen wie der Volumenentropie nicht so offenkundig. Der Zusammenhang besteht aber darin, dass zumindest in interessanten Spezialfällen (insbesondere bei nichtpositiver Krümmung) die Volumenentropie mit der Entropie des geodätischen Flusses (als dynamisches System) übereinstimmt.
Daneben gibt es noch den auch als Kolmogorow-Komplexität bezeichneten Entropiebegriff der Komplexitätstheorie, und in der Informationstheorie selbst die Rényi-Entropie als Verallgemeinerung der Shannon-Entropie, und wahrscheinlich noch eine Reihe weiterer Verallgemeinerungen.

Stichworte: ,
Mehr

Kommentare (2)

  1. #1 Karl Mistelberger
    1. Mai 2016

    Es bestätigt sich wieder einmal die Erkenntnis, dass es nichts Praktischeres gibt als eine gute Theorie. Als ich um die Jahrtausendwende herum meinen PC über ein 56k Modem mit dem Internet verband dachte ich zwar daran, dass es über das schlichte Paar von Telefondrähten auch schneller gehen müsste.

    Wozu diese urtümliche Technik allerdings fähig ist, da lag ich mit meinen Schätzungen daneben. Selbst über meine fast drei Kilometer lange Drahtleitung werden beim Herunterladen noch ca. 10 Mbit/s übertragen: https://en.wikipedia.org/wiki/Digital_subscriber_line_access_multiplexer#Bandwidth_versus_distance

    Das DSL-Modem meldet zwar zahlreiche Übertragungsfehler. Diese werden aber perfekt korrigiert und es ist in mehr als einem Jahrzehnt Nutzungsdauer noch nicht vorgekommen, dass ein heruntergeladenes File schadhaft war.

    Mit Versuch und Irrtum allein wäre eine solche Perfektion nur schwer und mit großem Aufwand erreichbar gewesen.

  2. #2 Karl Mistelberger
    11. Mai 2016

    Nachtrag:

    However, although less well-known outside academic circles, David’s achievements in the fields of information theory, machine learning and neural networks were at least as important. Building on theories developed in the 1960s by Robert Gallager, David showed in 1995 that mathematical codes – technically termed low-density parity-check codes – could squeeze immense amounts of data reliably through noisy communication links. LDPC codes are now employed in varied applications such as computer disk drives, mobile phone networks, digital broadcasting and Wi-Fi, ubiquitous but essential components of our modern world.

    https://www.theguardian.com/environment/2016/apr/18/sir-david-mackay-obituary