// SCINEXX — SPAZIO & SCIENZA
Vom Gehirn inspiriertes Bildgebungssystem kann durch Nebel „sehen“
Durchblick trotz dichter Streuung: Eine neuromorphe Bildgebung kombiniert eine bewegungssensitive Ereigniskamera mit einem spikenden neuronalen Netz. In Laborversuchen rekonstruierte das System bewegte Zeichen und Vogelsilhouetten hinter trübem Wasser oder Nebel mit Strukturähnlichkeiten bis 0,96 und verfolgte zugleich ihre Position.
Providence (U.S.A.). Nebel, trübes Wasser und andere streuende Medien lenken Licht in viele Richtungen ab. Dadurch erreicht eine normale Kamera von einem verdeckten Objekt oft nur ein stark verwischtes Signal, während der Hintergrund einen großen Teil der Bildinformation überlagert. Gerade bewegte Ziele sind deshalb schwer gleichzeitig zu erkennen und zu verfolgen.
Doch ein Sensor, der nur Veränderungen registriert, kann diesen Nachteil teilweise umgehen. Statt komplette Bilder in festen Zeitabständen aufzunehmen, meldet jeder Pixel einer Ereigniskamera nur dann ein Signal, wenn sich die Helligkeit an dieser Stelle ausreichend ändert. Ein langsam schwankender Streuhintergrund erzeugt dadurch weit weniger Daten als ein bewegtes Ziel.
Forscher der Brown University um Ning Zhang haben dieses Prinzip mit einem Dynamic Vision Sensor (DVS) und einem Spiking Neural Network (SNN) kombiniert. Der DVS dient dabei als technisches Gegenstück zur Retina. Das neuronale Netz verarbeitet die zeitlich verteilten Lichtimpulse und übernimmt parallel zwei Aufgaben: Es schätzt die Position des Zielobjekts und rekonstruiert dessen Form.
„Der Grund, warum Objekte im Nebel so schwer zu sehen sind, liegt darin, dass das von ihnen reflektierte Licht vom Nebel gestreut wird, bevor es unsere Augen oder die Kameralinse erreicht. In diesem Forschungsprojekt nutzen wir neuartige Bildsensoren und ein hirninspiriertes Modell, das diesen Streuprozess herausfiltern und rekonstruieren kann, was sich hinter dem Nebel befindet“, sagt Ning Zhang.
Entscheidend ist die unterschiedliche Dynamik von Ziel und Umgebung, denn in den Versuchen veränderte sich der Streuhintergrund meist deutlich langsamer als die projizierten Objekte. Der DVS reagierte deshalb vor allem auf jene Lichtanteile, die mit der Bewegung oder den Helligkeitsänderungen des Ziels zusammenhingen. Die resultierenden Ereignisse erscheinen zunächst nur als verteilte Impulse, aus denen das SNN schrittweise Position und Silhouette aufbaut.
„Das menschliche Auge kann Bewegungen sehr gut erkennen, doch eine Kamera, speziell ein Dynamic Vision Sensor, kann in mancher Hinsicht besser sein, unter anderem weil sie für nahes Infrarotlicht empfindlich ist, das das menschliche Auge nicht sehen kann. Sie erfasst nur Informationen über ein bewegtes Objekt und filtert damit einen Teil der Nebelstreuung heraus, während die relevanten Informationen als Folgen asynchroner Impulse codiert werden, ähnlich wie die biologische Retina Daten in einer Form aufnimmt, die der visuelle Kortex des Gehirns versteht“, erklärt Prof. Arto Nurmikko von der Brown University.
Getestet wurde das System an mehreren kontrollierten Streuumgebungen, darunter feste optische Phantome, ein 30 Zentimeter langer Tank mit trübem Wasser und eine 35 Zentimeter lange Nebelkammer. Als Ziele dienten unter anderem Ziffern, japanische Kanji-Zeichen und zweidimensionale Silhouetten fliegender Vögel, die entlang zufälliger oder natürlicher wirkender Bahnen bewegt wurden.
Bei den Vogelsilhouetten im trüben Wasser erreichte die Rekonstruktion im Mittel einen Structural Similarity Index von 0,9593. Dieser SSIM-Wert beschreibt, wie ähnlich Struktur und Form eines rekonstruierten Bildes der bekannten Vorlage sind. Über die verschiedenen Versuchsanordnungen hinweg lagen die Werte zwischen 0,81 und 0,96. Zugleich konnte ein separates Netzwerkmodul die Bewegung der Ziele verfolgen.
Der Rechenanteil ist dabei schnell, aber das Gesamtsystem arbeitet noch nicht als sofort reagierende Echtzeitkamera. Für eine Sequenz aus 18 Zeitschritten benötigte das neuronale Netz weniger als 15 Millisekunden. Die Kamera sammelte dafür in einem d