Besser klappt das mit dem neuen Kamera-System, das gerade in Nature vorgestellt wurde. Dabei verwendet man einen raffinierten Trick: Man überlagert das Bild, das man aufnehmen möchte, mit einem “zufälligen” (eigentlich pseudo-zufällig, weil die verwendeten Zufallszahlen von einem Computeralgorithmus generiert werden [Ha, wieder der Ablenkungstrick!] ) Muster, quasi einem Rauschen.  Dazu schickt man das Signal auf eine Anordnung von Mikrospiegeln (ein digital micromirror device) [Hey, cool, ich habe gerade den Artikel hier gefunden, da kann ich noch ein bisschen was klauen…], die das Signal unterschiedlich stark reflektieren.

Am Ende hat man also ein Signal, dem quasi ein Rauschen überlagert ist – jeder der sich schon mal über blöde farbige Kleckse in einem Digitalfoto geärgert hat weiß, dass man das eigentlich nicht so gern hat. Rauschen sorgt dafür, dass man Informationen verliert – da gewinnt man doch nichts!?

Stimmt. Man nutzt bei dieser Kamera aber aus, dass man keine beliebigen Szenen fotografiert, sondern solche, bei denen wenig Signal und viel Hintergrund vorhanden ist, beispielsweise eben Lichtflecken. Im Artikel heißt das vornehm, dass das Signal “spatiotemporal sparsity” besitzt , also “raumzeitlich ausgedünnt” ist. [Toll, ich habe ein fies klingendes Fachwort aus dem paper geholt und erklärt – dann denkt hoffentlich jeder, dass ich den Rest auch verstanden habe und es im Zweifel an ihm selbst liegt, wenn die Erklärung etwas unklar wirkt.]

Das Bildsignal wird dann auf eine Streak-Kamera gelenkt. Dort sorgt jetzt wieder das elektrische Feld dafür, dass die Elektronen je nach genauer Zeit, zu der das Signal eintrifft, unterschiedlich stark beschleunigt werden. Das Bild wird dabei sozusagen “aufgefächert” – die Information wird auf mehr Bildpunkte in der CCD-Kamera verteilt, als wir am Ende als Bildauflösung haben wollen. Das erlaubt es dann mit einem cleveren Optimierungsalgorithmus [wie immer der funktioniert, will hoffentlich wirklich niemand wissen…] die eigentliche Bildinformation zu rekonstruieren.

[Hmm, irgendwie  verstehe ich noch nicht so ganz, ob man da nun ein einzelnes Bild rekonstruiert oder gleich mehrere. Steht weder im nature-Begleitartikel so richtig klar drin, noch habe ich es im Artikel verstanden. Mist, das fragt bestimmt einer in den Kommentaren, wenn ich das nicht erkläre. – Hey, Moment mal, vielleicht lohnt es sich doch mal, auf die Formeln im Artikel zu gucken, die sehen ja gar nicht so kompliziert aus. Tatsächlich, da steht man rekonstruiert I(x,y,t), also die Bildinformation über die Zeit.]

Das besondere an der neuen Technik ist, dass sie es erlaubt, aus einem einzigen “Bild” auf der CCD-Kamera mehrere zeitlich hintereinander liegende Teilbilder zu rekonstruieren. [Hey – zum paper gibt es noch ein bisschen Extra-Material, das sogar bei nature frei verfügbar ist. Das klaue ich sofort.] Ein bisschen klarer wird das vielleicht mit diesem Bild (aus den “extended data figures):

 

Aus Gao et al., s.u. extended data

Der blaue Klotz soll die Bildinformation darstellen – die hat drei Komponenten, eine in x- und y-Richtung und eine für die Zeitabhängigkeit. Dann wird dem ganzen das zufällige Muster überlagert und dann durch die streak-Kamera das Signal sozusagen verkippt (temporal shearing). Auf der CCD-Kamera hat man dann Bildinformation, bei der aber jedes Pixel Informationen aus mehreren Zeitpunkten vereint (der gescherte Klotz wird sozusagen von oben auf den CCD-Chip abgebildet). Aus dem Endsignal (im Bild das Em,n) wird dann mit einem Algorithmus das ursprüngliche Signal rekonstruiert – was nur klappt, weil man die überlagerte Störung genau kennt und weil das Ausgangssignal zu einem großen teil keine Bildinformation enthält (das war ja das mit der “spatiotemporal sparsity”). [Hey, klingt jetzt wirklich fast so, als hätte ich es doch verstanden – hmm, habe ich es vielleicht sogar verstanden?]

Mit dieser schicken Technik kann man dann beispielsweise aufnehmen, wie Licht an der Grenzfläche zwischen zwei Medien gebrochen wird (Videos dazu gibt es hier auf der Nature-Seite, kann ich nur sehr empfehlen). So sieht das aus:

1 / 2 / 3

Kommentare (20)

  1. #1 werner
    6. Dezember 2014

    Hallo Martin. Heute ‘nen Clown gefrühstückt ? 😉

  2. #2 rolak
    7. Dezember 2014

    hehe, was für ein quirliger Artikel für den ganz frühen Sonntag Morgen, oder ists die gelebte Verschränkung von post und metapost, MartinB?

    sozusagen verkippt (temporal shearing)

    Will ja nicht allzu g’schert daherkommen, doch als NichtSchaf wäre selbst das angstfrei: So werden ungewünschte Signale entsorgt statt -äh- die Grenzen zwischen Raum und Zeit aufzuheben.
    Aber ganz was anderes: Da der nature-Artikel für mich ziemlich abstrakt bleibt, kann nicht nachgeschlagen werden, ob die Autoren die Bemusterung via Spiegelarray tatsächlich wie auch Du als ‘verrauschen’ bezeichnen – falls (←wichtig) ich es annähernd verstanden bzw., um im Kontext zu bleiben, rekonstruiert habe, wird dem Signal doch die Hilfsinformation aufgeprägt, mithilfe derer aus dem raumzeitlichen Einheitsmüsli wieder die gewünschten Rosinen gepickt werden können – geradezu das Gegenteil von Rauschen.

    ich hoffe, alle

    Einen haste schonmal 😉

  3. #3 Draalo
    7. Dezember 2014

    Erfreulich erfrischend zum Wochenabschluss.

    Ein schönes Restwochenende,

    Draalo

  4. #4 MartinB
    7. Dezember 2014

    @rolak
    Laut paper ist das eine pseudorandomly distributed square mask; und wenn man das Bild anguckt (das ist unter den extended materials frei verfügbar), dann ist das nix als schwarz-weißes Rauschen.

  5. #5 MartinB
    7. Dezember 2014

    PS: Das ergibt auch irgendwie Sinn, den jede Form von Korrelation innerhalb des Musters würde es ja schwieriger machen, die Bildinformation zu extrahieren (die ja auch für eine Korrelation in dem E(n,m)-Signal sorgt. (Denke ich zumindest…)

  6. #6 rolak
    7. Dezember 2014

    pseudorandomly distributed

    Hmmm, auch wenn das nach ‘nicht verstanden’ müffeln mag, MartinB und das Interesse am Algorithmus weiter hochkochen läßt, bleiben mir zum ‘falls’-Erhalt (mindestens) noch zwei Auswege:

    /pseudorandomly distributed/ klingt mir nach einerseits reproduzierbar á la random(seed) oder andrerseits konstruiert und gleichverteilt unter den Aspekten A bis n.
    /Störung genau kennt/ letztlich ists egal, ob die Daten nun vorher errechnet oder nachher erfasst werden.

    Doch vielleicht liegts ja nur an meiner WortDeutung: ‘Verrauschen’ ist für mich das eine Signalveränderung, die -falls überhaupt- nur schwer wieder rückgängig gemacht werden kann. Was die ursprüngliche Aktion übrigens nicht daran hindert, durchaus sinnvolle Anwendungen zu haben.
    Je nachdem wie sehr es mich triezt, wird mal nachgelesen – allerdings oldschool, allerdings wohl weder auf Papier noch umsonst, evtl aber bargeldlos 😉

  7. #7 MisterX
    7. Dezember 2014

    Hallo, tolle Videos, danke für den Artikel.

  8. #8 Alex
    8. Dezember 2014

    Hey, hierzu kann ich was sagen vielleicht, weil die Technik für mich doch sehr nach Compressed Sensing klingt, und die Referenzen lassen auch darauf schließen. Damit dies funktioniert, muss das Signal einerseits “sparse” sein, wie du ja schon festgestellt hast, andererseits müssen die Messungen zum Signal das “restricted isometry property” erfüllen (Warum ist das so? Candes/Tao/Donoho haben das ab 2004 bewiesen).

    Um dies sicher zu stellen wird dieses Rauschen, die coded mask eingefügt.
    Ganz spannend und sehr passend zu diesem Thema finde ich die 1-Pixel-Kamera: Ganz gleiches Prinzip m.E., aber der Aufbau ist leichter verständlich. https://dsp.rice.edu/cscamera

  9. #9 Alderamin
    8. Dezember 2014

    @MartinB

    Coded Aperture Masks kenne ich von Röntgenteleskopen, weil Röntgenstrahlung nur schwierig zu bündeln ist (neuerdings macht man es durch streifende Reflexion). Im Prinzip ist jedes Loch in der Coded Aperture Mask eine Lochkamera, die ein eigenes Bild erzeugt. Da ein einzelnes Loch zu wenig Strahlung durchlässt, verwendet man ein bestimmtes Muster aus vielen Löchern, das eine Überlagerung vieler Lochkamerabilder ergibt, die sich dann irgendwie wieder auseinander rechnen lassen (ohne mich näher damit beschäftigt zu haben tippe ich da auf eine Fouriertransformation o.ä., da die Bilder ja übereinandergefaltet sind).

    Ich nehme mal an, hier wird dieses Prinzip ebenfalls angewendet. Durch die zeitliche Scherung erhält man eine Menge versetzter Lochkamerabilder (und dann auch noch mit räumlicher Überlagerung wie oben beschrieben; sind dann vermutlich einfach mehr Löcher), die man am Ende wieder entfalten kann, weil man genau weiß, in welcher Abfolge die Aperture Mask zeitlich versetzt auf den Sensor abgebildet wird.

    Vielleicht kann man sich das klarmachen, wenn die Aperture Mask auf ein einzelnes Loch reduziert wird, das bei der Belichtung des Sensors für eine punktförmige Lichtquelle aufgrund des zeitlichen Scherens einen senkrechten Strich auf den Sensor malt. Bewegt sich die Lichtquelle während der Belichtung von links nach rechts, dann wird der Strich schräg. Zwei Lichtquellen würden entsprechend zwei Striche ziehen. Im Prinzip kann man also aus den Strichen auf die Bewegung rückschließen. Viele Lichtquellen (also ein ganzes Bild) ergeben ein komplexes Überlagerungsmuster, dass man am Ende auseinanderfriemeln muss.

    Mit der Coded Aperture Mask werden dann halt auch noch mehrere Lochkamerabilder überlagert und man hat mehr Licht.

    So ungefähr würde ich das Verfahren interpretieren. Habe ich das Deiner Meinung nach halbwegs richtig verstanden?

  10. #10 rolak
    8. Dezember 2014

    aah, das bringt langsam Licht ins Dunkel. Mal schauen, ob es heute noch zum Reinlesen reicht.
    Danke derweil!

  11. #11 Alderamin
    8. Dezember 2014

    @rolak

    Wo kommt man denn an den Artikeltext? Nature lässt ja angeblich neuerdings das Lesen der Artikel in einem Viewer zu, aber auf der Seite, die oben verlinkt ist, finde ich so einen Viewer-Link nicht.

  12. #12 rolak
    8. Dezember 2014

    Wo?

    Mit ‘Reinlesen’ war eben zwar Sekundäres zu den PhotoTechniken gemeint, doch der passende, schon längst erhellend wirken könnende Kommentar erwartet noch einen gnädigen Moderator, Alderamin, doch eine zweite url geht wohl glatt mit durch: Oldschool.

    War allerdings noch nicht dort, gleich gehts erst mal für den Test der inneren Bereifung zum Pneu-Mologen.

  13. #13 MartinB
    8. Dezember 2014

    @ALderamin
    Ich glaube, das mit dem Lesen des Artikels klappt nur, wenn jemand mit Vollzugriff dir nen Link spendiert und du die entspechende Software hast. Alternativ kannst du natürlich jemandem ne mail schicken, der das paper hat…
    Und ja, so ähnlich (nur etwas vager) wie in deiner Beschreibung hatte ich das auch verstanden. (Und die Bemerkungen im Blogtext sind durchaus auch ernst gemeint – ich habe es nicht wirklich 100% gerafft.)

  14. #14 Alderamin
    8. Dezember 2014

    @rolak

    Lassen die einen so einfach rein? Ich war schon ewig nicht mehr in der Hochschulbibliothek der RWTH, ich weiß gar nicht mehr, ob die einen Studentenausweis sehen wollen. Vom Alter her würde ich jedenfalls so auffallen wie ein Europäer in China…

  15. #15 rolak
    8. Dezember 2014

    so einfach?

    Django hat Jahreskarte, Alderamin.

    mit Vollzugriff

    Könntest Du dazu bitte den Kommentar ‘#comment-21640’ weiter oben freimoderieren, MartinB, auf den bisher nur wir beide Zugriff haben? Danke!

  16. #16 MartinB
    8. Dezember 2014

    @rolak
    ist jetzt freigeschaltet, hatte ich bisher nicht gesehen. (Tipp: Linkgrenze ist 4.)
    Deswegen hatte ich ja “quasi”-Rauschen geschrieben – es sieht aus wie ein Rauschen, aber ist halt eins, das man genau kennt.

  17. #17 rolak
    8. Dezember 2014

    Schönen Dank nochmal, MartinB, denn die ModerationsArbeit wurde Dir hinterrücks & wissend aufgebürdet, auch wenn von 3/comment ausgegangen wurde.

    btt: Sachichdoch, kurz vor den anstehenden rauschenden Festtagen hatte mir meine gestrenge Auffassung von ‘Rauschen’ den Blick auf Deine Analogie verstellt.

  18. […] Physiker gewinnen mit einfarbigen, kohärenten Lasern spannende Einsichten in die Wellennatur des Lichtes, oder mit extrem kurzen Laser-Pulsen die „schnellsten“ Zeitlupenaufnahmen der Welt. […]

  19. #19 Andudi
    7. Januar 2023

    bin wohl etwas spät mit kommetieren…
    aber ich denke dass es bei solchen verfahren egal ist wie das (pseudo) random erzeugt wird, hauptsache die entropie ist hoch damit keine störenden aliasing effekte auftreten.
    PS ich dachte dieser blog wird eingestellt… wo gehts weiter?

  20. #20 MartinB
    8. Januar 2023

    @Andudi
    Klar ist das mit den Zufallszahlen egal, hab ich ja nur geschrieben, um zu zeigen, wie schlau ich bin 😉

    Sobald der neue Blog da ist (es gab da technische Schwierigkeiten) poste ich Informationen darüber; zum Glück ist Sb ja doch nicht abgeschaltet worden.