Insgesamt drei Bilder, die jeweils einen Totenkopf und einen Kürbis zeigen. Die beiden oberen Bilder zeigen den Totenkopf (links) und den Kürbis (rechts) jeweils unscharf. Das untere Bild zeigt die beiden nach der Verschmelzung; hier sind sowohl der Kürbis als auch der Totenkopf scharf.
Fusion zweier Bilder, in denen in den Quellbildern jeweils ein anderes Objekt unscharf dargestellt wurde.

Die Bildfusion ist der Prozess, bei dem alle wichtigen Informationen aus mehreren Bildern gesammelt und in weniger Bildern, üblicherweise einem einzigen, zusammengeführt werden. Dieses einzelne Bild ist informativer und genauer als jedes einzelne Quellbild und enthält alle notwendigen Informationen. Ziel der Bildfusion ist es nicht nur, die Datenmenge zu reduzieren, sondern auch Bilder zu erzeugen, die für die menschliche und maschinelle Wahrnehmung besser geeignet und verständlicher sind. [ 1 ] [ 2 ] In der Computer Vision bezeichnet die Multisensor-Bildfusion den Prozess, relevante Informationen aus zwei oder mehr Bildern in einem einzigen Bild zu kombinieren. [ 3 ] Das resultierende Bild ist informativer als jedes der Eingangsbilder. [ 4 ]

In der Fernerkundung führt die zunehmende Verfügbarkeit von Weltraumsensoren zu einem Bedarf an verschiedenen Bildfusionsalgorithmen. Viele Bildverarbeitungssituationen erfordern eine hohe räumliche und spektrale Auflösung in einem einzelnen Bild. Die meisten verfügbaren Geräte sind nicht in der Lage, solche Daten überzeugend zu liefern. Bildfusionsverfahren ermöglichen die Integration verschiedener Informationsquellen. Das fusionierte Bild kann komplementäre räumliche und spektrale Auflösungseigenschaften aufweisen. Standardverfahren zur Bildfusion können jedoch die spektralen Informationen der multispektralen Daten beim Zusammenführen verfälschen.

In der Satellitenbildgebung stehen zwei Bildtypen zur Verfügung. Das von Satelliten aufgenommene panchromatische Bild wird mit der maximal verfügbaren Auflösung übertragen, während die multispektralen Daten mit einer gröberen Auflösung – üblicherweise zwei- bis viermal geringer – übertragen werden. An der Empfangsstation werden das panchromatische Bild und die multispektralen Daten zusammengeführt, um mehr Informationen zu übertragen.

Es gibt zahlreiche Methoden zur Bildfusion. Die grundlegendste ist die Hochpassfilterung . Weitere Verfahren basieren auf der diskreten Wavelet-Transformation , der gleichmäßigen rationalen Filterbank und der Laplace-Pyramide .

Motivation

Die Datenfusion mehrerer Sensoren hat sich zu einer Disziplin entwickelt, die allgemeinere formale Lösungen für eine Reihe von Anwendungsfällen erfordert. In verschiedenen Situationen der Bildverarbeitung werden sowohl hohe räumliche als auch hohe spektrale Informationen in einem einzigen Bild benötigt. [ 5 ] Dies ist insbesondere in der Fernerkundung von Bedeutung. Die Instrumente sind jedoch entweder konstruktionsbedingt oder aufgrund von Beobachtungsbeschränkungen nicht in der Lage, solche Informationen zu liefern. Eine mögliche Lösung hierfür ist die Datenfusion .

Methoden

Bildfusionsverfahren lassen sich grob in zwei Gruppen einteilen – Fusion im Ortsbereich und Fusion im Transformationsbereich.

Fusionsverfahren wie Mittelwertbildung, die Brovey-Methode, die Hauptkomponentenanalyse ( PCA ) und IHS- basierte Verfahren fallen unter die Kategorie der räumlichen Bereichsverfahren. Ein weiteres wichtiges räumliches Fusionsverfahren ist die Hochpassfilterung. Hierbei werden hochfrequente Details in die hochskalierte Version der MS-Bilder eingefügt. Der Nachteil räumlicher Verfahren besteht darin, dass sie räumliche Verzerrungen im fusionierten Bild erzeugen. Spektrale Verzerrungen wirken sich negativ auf die Weiterverarbeitung, beispielsweise bei Klassifizierungsproblemen, aus. Räumliche Verzerrungen lassen sich durch Frequenzbereichsverfahren bei der Bildfusion sehr gut korrigieren. Die Multiresolutionsanalyse hat sich als sehr nützliches Werkzeug zur Analyse von Fernerkundungsbildern etabliert. Die diskrete Wavelet-Transformation ist ein sehr nützliches Fusionsverfahren. Es existieren auch andere Fusionsverfahren, wie beispielsweise solche auf Basis der Laplace-Pyramide oder der Curvelet-Transformation. Diese Verfahren zeigen im Vergleich zu anderen räumlichen Fusionsverfahren eine bessere räumliche und spektrale Qualität des fusionierten Bildes.

Die für die Bildfusion verwendeten Bilder sollten bereits registriert sein . Fehlregistrierung ist eine Hauptfehlerquelle bei der Bildfusion. Einige bekannte Bildfusionsverfahren sind:

  • Hochpassfiltertechnik
  • IHS- Transformationsbasierte Bildfusion
  • PCA -basierte Bildfusion
  • Wavelet-Transformations-Bildfusion
  • Paarweiser räumlicher Frequenzabgleich

Ein Vergleich von Bildfusionsverfahren zeigt, dass unterschiedliche Metriken unterschiedliche Nutzerbedürfnisse unterstützen, auf verschiedene Bildfusionsverfahren reagieren und an die jeweilige Anwendung angepasst werden müssen. Kategorien von Bildfusionsmetriken basieren auf informationstheoretischen Merkmalen [ 4 ] , struktureller Ähnlichkeit oder menschlicher Wahrnehmung. [ 6 ]

Multifokus-Bildfusion

Die Multifokus-Bildfusion dient dazu, nützliche und notwendige Informationen aus Eingangsbildern mit unterschiedlichen Schärfentiefen zu extrahieren und so ein Ausgabebild zu erzeugen, das idealerweise alle Informationen der Eingangsbilder enthält. [ 2 ] [ 7 ] In visuellen Sensornetzwerken (VSN) sind die Sensoren Kameras, die Bilder und Videosequenzen aufzeichnen. In vielen VSN-Anwendungen kann eine Kamera aufgrund der begrenzten Schärfentiefe des Kameraobjektivs keine perfekte Darstellung aller Details der Szene liefern. [ 8 ] Daher wird nur das Objekt innerhalb der Brennweite der Kamera scharfgestellt, während der Rest des Bildes unscharf bleibt. VSN können mithilfe mehrerer Kameras Bilder mit unterschiedlichen Schärfentiefen aufnehmen. Aufgrund der im Vergleich zu anderen Sensoren wie Druck- und Temperatursensoren großen Datenmenge, die von Kameras erzeugt wird, und einiger Einschränkungen wie begrenzter Bandbreite, hohem Energieverbrauch und langer Verarbeitungszeit ist es unerlässlich, die Eingangsbilder lokal zu verarbeiten, um die zu übertragende Datenmenge zu reduzieren. Die genannten Gründe unterstreichen die Notwendigkeit der Multifokus-Bildfusion. Die Multifokus-Bildfusion ist ein Verfahren, das die eingegebenen Multifokusbilder zu einem einzigen Bild kombiniert, das alle wichtigen Informationen der Eingangsbilder enthält und eine genauere Darstellung der Szene ermöglicht als jedes einzelne Eingangsbild. [ 2 ]

Anwendungen

In der Fernerkundung

Die Bildfusion in der Fernerkundung hat mehrere Anwendungsgebiete. Ein wichtiges Gebiet ist die multiresolutionäre Bildfusion (häufig als Pan-Sharpening bezeichnet). Bei Satellitenbildern können zwei Bildtypen auftreten:

  • Panchromatische Bilder – Ein Bild, das im breiten sichtbaren Wellenlängenbereich aufgenommen, aber in Schwarzweiß dargestellt wird.
  • Multispektrale Bilder – Bilder, die optisch in mehr als einem Spektral- oder Wellenlängenbereich aufgenommen wurden. Jedes einzelne Bild zeigt in der Regel denselben physikalischen Bereich und Maßstab, jedoch einen anderen Spektralbereich.

Der SPOT PAN-Satellit liefert hochauflösende (10 m Pixel) panchromatische Daten. Der LANDSAT TM-Satellit hingegen liefert niedrigauflösende (30 m Pixel) multispektrale Bilder. Durch Bildfusion werden diese Bilder zu einem einzigen hochauflösenden multispektralen Bild zusammengeführt.

Die Standardmethoden der Bildfusion basieren auf der Transformation von Rot-Grün-Blau (RGB) zu Intensität-Farbton-Sättigung (IHS). Die üblichen Schritte der Satellitenbildfusion sind folgende:

  1. Die niedrig aufgelösten Multispektralbilder werden auf die gleiche Größe wie das panchromatische Bild skaliert.
  2. Transformieren Sie die R-, G- und B-Bänder des Multispektralbildes in IHS-Komponenten.
  3. Das panchromatische Bild wird anhand des multispektralen Bildes modifiziert. Dies geschieht üblicherweise durch Histogrammabgleich des panchromatischen Bildes mit der Intensitätskomponente des multispektralen Bildes als Referenz.
  4. Ersetzen Sie die Intensitätskomponente durch das panchromatische Bild und führen Sie eine inverse Transformation durch, um ein hochauflösendes multispektrales Bild zu erhalten.

Pan-Sharpening kann mit Photoshop durchgeführt werden . [ 9 ] Weitere Anwendungen der Bildfusion in der Fernerkundung sind verfügbar. [ 10 ]

In der medizinischen Bildgebung

Bildfusion ist ein gängiger Begriff in der medizinischen Diagnostik und Therapie geworden. [ 11 ] Er bezeichnet die Registrierung und Überlagerung mehrerer Bilder eines Patienten, um zusätzliche Informationen zu gewinnen. Fusionierte Bilder können aus mehreren Bildern desselben Bildgebungsverfahrens [ 12 ] oder durch die Kombination von Informationen aus verschiedenen Modalitäten [ 13 ] wie Magnetresonanztomographie (MRT), Computertomographie (CT), Positronenemissionstomographie (PET) und Einzelphotonen-Emissionscomputertomographie (SPECT) erstellt werden. In der Radiologie und Strahlentherapie dienen diese Bilder unterschiedlichen Zwecken. So werden CT-Bilder häufiger zur Bestimmung von Unterschieden in der Gewebedichte eingesetzt, während MRT-Bilder typischerweise zur Diagnose von Hirntumoren verwendet werden.

Für eine präzise Diagnose müssen Radiologen Informationen aus verschiedenen Bildformaten integrieren. Fusionierte, anatomisch konsistente Bilder sind besonders vorteilhaft für die Diagnose und Behandlung von Krebs. Dank dieser neuen Technologien können Strahlentherapeuten die intensitätsmodulierte Strahlentherapie ( IMRT ) optimal nutzen. Die Möglichkeit, diagnostische Bilder in die Bestrahlungsplanung einzubetten, führt zu genaueren Zielvolumina für die IMRT .

Siehe auch

  • Datenfusion  – Integration mehrerer Datenquellen zur Bereitstellung besserer Informationen
  • Demosaicking  – Farbrekonstruktionsalgorithmus
  • Belichtungsfusion
  • Sensorfusion  – Kombination von Sensordaten aus unterschiedlichen Quellen

Referenzen

  1. ^ Zheng, Yufeng; Blasch, Erik; Liu, Zheng (2018). Multispektrale Bildfusion und Kolorierung . SPIE Press. ISBN 9781510619067Die
  2. ^ a b c M., Amin-Naji; A., Ahagolzadeh (2018). „Multifokus-Bildfusion im DCT-Bereich unter Verwendung von Varianz und Energie des Laplace-Operators und Korrelationskoeffizienten für visuelle Sensornetzwerke“. Journal of AI and Data Mining . 6 (2): 233–250 . doi : 10.22044/jadm.2017.5169.1624 . ISSN 2322-5211 . 
  3. ^ Haghighat, MBA; Ahagolzadeh, A.; Seyedarabi, H. (2011). „Multifokus-Bildfusion für visuelle Sensornetzwerke im DCT-Bereich“. Computers & Electrical Engineering . 37 (5): 789–797 . doi : 10.1016/j.compeleceng.2011.04.016 . S2CID 38131177 . 
  4. ^ a b Haghighat, MBA; Ahagolzadeh, A.; Seyedarabi, H. (2011). „Eine nicht-referenzielle Bildfusionsmetrik basierend auf der gegenseitigen Information von Bildmerkmalen“. Computers & Electrical Engineering . 37 (5): 744–756 . doi : 10.1016/j.compeleceng.2011.07.012 . S2CID 7738541 . 
  5. ^ AL Smadi, Ahmad (18. Mai 2021). „Intelligenter Pansharpening-Ansatz mittels kernelbasierter Bildfilterung“. IET Image Processing . 15 (11): 2629–2642 . doi : 10.1049/ipr2.12251 . S2CID 235632628 . 
  6. ^ Liu, Z.; Blasch, E.; Xue, Z.; Langaniere, R.; Wu, W. (2012). „Objektive Bewertung von Multiresolutions-Bildfusionsalgorithmen zur Kontextverbesserung in der Nachtsicht: Eine vergleichende Studie“. IEEE Transactions on Pattern Analysis and Machine Intelligence . 34 (1): 94–109 . doi : 10.1109/tpami.2011.109 . PMID 21576753. S2CID 9248856 .  
  7. ^ Naji, MA; Ahagolzadeh, A. (November 2015). „Multifokus-Bildfusion im DCT-Bereich basierend auf dem Korrelationskoeffizienten“. 2. Internationale Konferenz für wissensbasierte Ingenieurwissenschaften und Innovation (KBEI) 2015. S.  632–639 . doi : 10.1109/KBEI.2015.7436118 . ISBN 978-1-4673-6506-2. S2CID  44524869 .
  8. ^ Naji, MA; Ahagolzadeh, A. (November 2015). „Eine neue Multifokus-Bildfusionstechnik basierend auf der Varianz im DCT-Bereich“. 2. Internationale Konferenz für wissensbasierte Ingenieurwissenschaften und Innovation (KBEI) 2015. S.  478–484 . doi : 10.1109/KBEI.2015.7436092 . ISBN 978-1-4673-6506-2S2CID  29215692 .​
  9. ^ Pan-Sharpening in Photoshop
  10. ^ „Jenseits der Pan-Sharpening-Technik: Pixelfusion in Fernerkundungsanwendungen“ (PDF) . Archiviert vom Original (PDF) am 1. September 2015. Abgerufen am 5. März 2013 .
  11. ^ James, AP; Dasarathy, B V. (2014). „Medizinische Bildfusion: Ein Überblick über den Stand der Technik“. Information Fusion . 19 : 4–19 . arXiv : 1401.0166 . doi : 10.1016/j.inffus.2013.12.002 . S2CID 15315731 . 
  12. ^ Gooding, MJ; et al. (2010). „Untersuchung der Fusion mehrerer 4D-Fetal-Echokardiographiebilder zur Verbesserung der Bildqualität“. Ultrasound in Medicine and Biology . 36 (6): 957–66 . doi : 10.1016/j.ultrasmedbio.2010.03.017 . PMID 20447758 . 
  13. ^ Maintz, JB; Viergever, MA (1998). „Eine Übersicht zur Registrierung medizinischer Bilder“. Medical Image Analysis . 2 (1): 1–36 . CiteSeerX 10.1.1.46.4959 . doi : 10.1016/s1361-8415(01)80026-8 . PMID 10638851 .