StartseiteVon Bits und Bytes

Datenmengen im großen Stil

Von / 17. Mai 2012 / 6 Kommentare
Mehr

Als kleiner Happen bis zum nächsten Artikel; die Menge an Daten, die beim LHC in einigen Detektoren (hier: ATLAS und CMS) entsteht, ist relativ…nun, hoch. CMS zeichnet, wenn ich es richtig verstanden habe, 40 Millionen (40,000,000!) Datensätze auf – pro Sekunde! ATLAS immerhin noch 30 Millionen pro Sekunde. Was wiederum zu ungefähr einem Petabyte an Daten pro Sekunde führt – das ist jenseits sämtlicher Speicherplattenkapazitäten, die wir im Alltag so kennen. Zum Vergleich: der normale Heimverbraucher dürfte zur Zeit ungefähr ein Terabyte Speicherplatz auf seiner Festplatte haben. Ein Petabyte sind 1024 Terrabyte; und diese Datenmenge entsteht jede Sekunde in den Detektoren. Aber schaut es euch selber an:

 

Stichworte: , ,
Mehr

Kommentare (6)

  1. #1 Quacki
    Mai 18, 2012

    Jo moin, endlich gehts weiter ^^ (ich bin ein bißchen traurig, dass HF sich nicht wieder gemeldet hat). Noch ein kleiner Hinweis: “Terabyte” mit einem “r”, ansonsten sind das Erdbissen und kein Maß für Speicherplatz 😉

  2. #2 rolak
    Mai 18, 2012

    /Ter²a/ Aber nicht doch, Quacki, einerseits ging es um den ottonormal erdverbundenen Heimuser, andererseits mag ein Bissen so klingen, er hätte aber lieber ein ‘i’ 😉

    btt: Och hört der post schnell auf – leicht verpennt dachte ich etwas über die Verarbeitung gigantischer Datenmengen zu lesen. Grad letztens hatte ich noch einen Bericht über SETI gesehen, in dem beklagt wurde, daß die bei Vollausbau des geplanten Radioantennenarrays vor einem ähnlichen Problem stehen, daß nämlich die Daten in einer Rate anzufallen drohen, die sie gar nicht mehr zwischengespeichert bekommen…

  3. #3 MartinB
    Mai 18, 2012

    @rolak
    Das problem gab’s schon in den 90ern am DESY, da war ich mal spaßeshalber ein Semester lang im Experimentatoren-Seminar. Auch da fielen alle Hundert nanosekunden oder so ziemliche Datenmengen an und mit der damaligen Kapazität war das nicht zu bewältigen. Man prozessiert die Daten deswegen gleich grob vor und schmeißt alles weg, was langweilig oder sonst wie verdächtig aussieht. Ist natürlich eine Gratwanderung, weil man eventuell auch Dinge wegschmeißt, die eigentlich interessant sind. (Oh super, ich sehe diese Aussage hier schon wieder von irgendwelchen Gestalten ge-quote-mined).

  4. #4 Marcus Frenkel
    Mai 18, 2012

    @Quacki
    Danke, korrigiert.

    @MartinB
    Genauso handhaben sie es am LHC – die Daten werden vorgefiltert, nur die interessanteren Bilder weitergeleitet, noch einmal mit mehr Rechenleistung gefiltert und erst dann zur späteren Verarbeitung gespeichert. Wenn ich es richtig im Kopf habe, sind auch ein großer Teil der aufgenommenen Daten “Leerdaten”, heißt, da hat der Detektor gar nichts aufgenommen.

  5. #5 sebix
    Mai 18, 2012

    Ich mag auch so eine Farm haben, dann brauch ich mich nicht mehr um die Performance meiner Programme kümmern 🙂
    Aber leider sind die Rechner nicht direkt mit dem Internet verbunden, also dort einen Zugriff zu bekommen, wird nicht einfach sein *grübel*

    Warum sagt eigentlich niemand, dass am LHC nicht auch viele geniale Informatiker frei rumlaufen? Die Physiker wären ohne die völlig hilflos und müssten alles nach /dev/null leiten. Für Nicht-Unixoide: /dev/null ist eine Art schwarzes Loch unter *ix, dessen Masse zwar nicht zunimmt, aber trotzdem alles vernichtet.

    Das was die Software dort macht ist ja fast wie “cat /dev/urandom | filter > /dev/null >> /tmp/$(date %s)”. Ich kann die Programmierer nur bewundern!

  6. #6 Silvio Haupt
    Mai 19, 2012

    Die c’t hatte seinerzeit in der Ausgabe 21/2008 einige Artikel über den LHC veröffentlicht, in dem sie sich mal schön ausführlich der IT, der Datenverarbeitung und dem Grid dahinter beschäftigt haben…

    https://heise-online.mobi/ct/artikel/Herren-der-Ringe-291742.html

    Ich glaub, die kompletten Artikel gibt es nur gegen Geld aus dem Archiv…