Bildzusammenfügung

Bildzusammenfügung oder Fotostitching ist der Prozess, mehrere Fotos mit überlappenden Bildausschnitten zu einem segmentierten Panorama oder hochauflösenden Bild zu kombinieren. Üblicherweise wird dies mithilfe von Computersoftware durchgeführt . Die meisten Verfahren zur Bildzusammenfügung erfordern nahezu exakte Überlappungen und identische Belichtungen der Bilder, um nahtlose Ergebnisse zu erzielen ^{[ 1 ] [ 2 ].} Einige Stitching-Algorithmen profitieren jedoch von unterschiedlich belichteten Bildern, indem sie in den Überlappungsbereichen HDR-Aufnahmen (High Dynamic Range) durchführen ^{[ 3 ] [ 4 ]} . Manche Digitalkameras können ihre Fotos intern zusammenfügen.

Bildzusammenfügung findet in modernen Anwendungen breite Verwendung, beispielsweise in den folgenden:

• Dokumentenmosaikierung ^{[ 5 ]}
• Bildstabilisierungsfunktion bei Camcordern, die die Bildfrequenzausrichtung verwenden
• Hochauflösende Bildmosaike in digitalen Karten und Satellitenbildern
• Medizinische Bildgebung
• Superauflösende Mehrbildgebung
• Video-Stitching ^{[ 6 ] [ 7 ]}
• Objekt einfügen

Die Insel Alcatraz , dargestellt in einem durch Bildzusammenfügung erstellten Panorama .

Der Bildzusammenfügungsprozess kann in drei Hauptkomponenten unterteilt werden: Bildregistrierung , Kalibrierung und Überblendung .

Zur Schätzung der Bildausrichtung werden Algorithmen benötigt, die das geeignete mathematische Modell bestimmen, welches die Pixelkoordinaten eines Bildes mit den Pixelkoordinaten eines anderen Bildes verknüpft. Algorithmen, die direkte Pixelvergleiche mit Gradientenabstiegsverfahren (und anderen Optimierungstechniken) kombinieren, können zur Schätzung dieser Parameter verwendet werden.

In jedem Bild lassen sich charakteristische Merkmale finden, die effizient abgeglichen werden können, um schnell Korrespondenzen zwischen Bildpaaren herzustellen. Bei Panoramabildern mit mehreren Aufnahmen wurden Verfahren entwickelt, um einen global konsistenten Satz von Ausrichtungen zu berechnen und effizient zu ermitteln, welche Bilder sich überlappen.

Es wird eine finale Kompositionsfläche benötigt, auf die alle ausgerichteten Bilder verzerrt oder projektiv transformiert und platziert werden können, sowie Algorithmen, um die überlappenden Bilder nahtlos zu verschmelzen, selbst bei Parallaxe, Linsenverzerrung, Szenenbewegung und Belichtungsunterschieden.

Da die Beleuchtung in zwei Ansichten nicht identisch sein kann, kann das Zusammenfügen zweier Bilder eine sichtbare Nahtstelle erzeugen. Weitere Gründe für Nahtstellen können ein sich ändernder Hintergrund bei gleichem Vordergrund sein. Zu den weiteren wichtigen Aspekten zählen Parallaxe , Linsenverzerrung , Bewegungsunschärfe und Belichtungsunterschiede . In der Realität variiert die Intensität innerhalb der Szene, ebenso wie Kontrast und Helligkeit zwischen den einzelnen Bildern. Darüber hinaus muss das Seitenverhältnis eines Panoramabildes berücksichtigt werden, um ein optisch ansprechendes Ergebnis zu erzielen .

Für das Zusammenfügen von Panoramabildern sollte der ideale Bildsatz eine ausreichende Überlappung (mindestens 15–30 %) aufweisen, um Linsenverzerrungen auszugleichen und genügend erkennbare Details zu enthalten. Die Belichtung der einzelnen Bilder sollte gleichmäßig sein, um die Wahrscheinlichkeit von Nahtstellen zu minimieren.

Die Merkmalserkennung ist notwendig, um automatisch Korrespondenzen zwischen Bildern zu finden. Robuste Korrespondenzen sind erforderlich, um die notwendige Transformation zur Ausrichtung eines Bildes an dem Bild, auf dem es zusammengesetzt wird, zu schätzen. Ecken, Bereiche, Harris-Ecken und Differenzen von Gauß-Funktionen der Harris-Ecken eignen sich gut als Merkmale, da sie wiederholbar und eindeutig sind.

Einer der ersten Operatoren zur Erkennung von markanten Punkten wurde 1977 von Hans Moravec für seine Forschung zur automatischen Navigation eines Roboters in einer komplexen Umgebung entwickelt. Moravec definierte auch den Begriff der „Interessenpunkte“ in einem Bild und schlussfolgerte, dass diese Punkte zur Identifizierung übereinstimmender Bereiche in verschiedenen Bildern verwendet werden können. Der Moravec-Operator gilt als Eckendetektor, da er markante Punkte als solche definiert, an denen große Intensitätsvariationen in alle Richtungen auftreten. Dies ist häufig an Ecken der Fall. Moravec war jedoch nicht primär an der Suche nach Ecken interessiert, sondern lediglich an der Identifizierung markanter Bereiche in einem Bild, die zur Registrierung aufeinanderfolgender Bildsequenzen verwendet werden können.

Harris und Stephens verbesserten Moravecs Eckendetektor, indem sie die Differenz des Eckenwerts in Bezug auf die Richtung direkt berücksichtigten. Sie benötigten dies als Verarbeitungsschritt, um auf Basis von Bildsequenzen Interpretationen der Roboterumgebung zu erstellen. Wie Moravec benötigten auch sie eine Methode, um korrespondierende Punkte in aufeinanderfolgenden Bildsequenzen zuzuordnen, waren aber daran interessiert, sowohl Ecken als auch Kanten zwischen den Sequenzen zu verfolgen.

SIFT und SURF sind neuere Algorithmen zur Erkennung von Schlüsselpunkten bzw. interessanten Punkten. SURF ist jedoch patentiert und seine kommerzielle Nutzung eingeschränkt. Sobald ein Merkmal erkannt wurde, kann ein Deskriptorverfahren wie der SIFT-Deskriptor angewendet werden, um es später abzugleichen.

Die Bildregistrierung beinhaltet das Abgleichen von Merkmalen ^{[ 8 ]} in einer Bildgruppe oder die Verwendung direkter Ausrichtungsverfahren, um Bildausrichtungen zu finden, die die Summe der absoluten Differenzen zwischen überlappenden Pixeln minimieren. ^{[ 9 ]} Bei der Verwendung direkter Ausrichtungsverfahren empfiehlt es sich, die Bilder vorab zu kalibrieren, um bessere Ergebnisse zu erzielen. Zusätzlich können Benutzer ein grobes Panoramamodell eingeben, um den Merkmalsabgleich zu unterstützen, sodass beispielsweise nur benachbarte Bilder nach übereinstimmenden Merkmalen durchsucht werden. Da die Anzahl der abzugleichenden Merkmale kleiner ist, ist das Suchergebnis genauer und der Vergleich schneller.

Zur Schätzung eines robusten Modells aus den Daten wird häufig die RANSAC- Methode verwendet . RANSAC ist die Abkürzung für „ Random Sample Consensus “ ( Zufallsstichprobenkonsens ). Es handelt sich um ein iteratives Verfahren zur robusten Parameterschätzung, mit dem mathematische Modelle anhand von Datensätzen, die Ausreißer enthalten können, angepasst werden. Der Algorithmus ist nichtdeterministisch, d . h. er liefert nur mit einer bestimmten Wahrscheinlichkeit ein plausibles Ergebnis, wobei diese Wahrscheinlichkeit mit zunehmender Anzahl an Iterationen steigt. Da es sich um ein probabilistisches Verfahren handelt, werden bei jeder Ausführung des Algorithmus unterschiedliche Ergebnisse erzielt.

Der RANSAC-Algorithmus findet vielfältige Anwendung in der Computer Vision, unter anderem zur simultanen Lösung des Korrespondenzproblems und zur Schätzung der Fundamentalmatrix eines Stereokamerapaares. Die Grundannahme des Verfahrens ist, dass die Daten aus „Inliern“ bestehen, d. h. Daten, deren Verteilung sich durch ein mathematisches Modell erklären lässt, und „Ausreißern“, d. h. Daten, die nicht zu diesem Modell passen. Ausreißer sind Punkte, die auf Rauschen, fehlerhafte Messungen oder einfach falsche Daten zurückzuführen sind.

Bei der Schätzung von Homographien versucht RANSAC, mehrere Modelle anhand einiger Punktpaare anzupassen und prüft anschließend, ob diese Modelle die meisten Punkte korrekt zuordnen können. Das beste Modell – die Homographie mit den meisten korrekten Übereinstimmungen – wird dann als Lösung des Problems ausgewählt. Ist das Verhältnis von Ausreißern zu Datenpunkten sehr gering, liefert RANSAC somit ein zufriedenstellendes Modell, das die Daten gut beschreibt.

Die Bildkalibrierung zielt darauf ab, Abweichungen zwischen idealen Objektivmodellen und der verwendeten Kamera-Objektiv-Kombination zu minimieren. Dazu gehören optische Defekte wie Verzeichnungen , Belichtungsunterschiede zwischen Bildern, Vignettierung ^{[ 10 ]} , die Kameraempfindlichkeit und chromatische Aberrationen . Wurden zur Bildregistrierung Merkmalserkennungsverfahren eingesetzt und die absoluten Positionen der Merkmale erfasst und gespeichert, kann Stitching-Software diese Daten zur geometrischen Optimierung der Bilder sowie zur Positionierung der Bilder auf der Panoramaoberfläche nutzen. Panotools und seine verschiedenen Folgeprogramme verwenden dieses Verfahren.

Eine Ausrichtung kann erforderlich sein, um ein Bild so zu transformieren, dass es dem Blickwinkel des Bildes entspricht, mit dem es kombiniert wird. Vereinfacht ausgedrückt ist Ausrichtung eine Änderung des Koordinatensystems, sodass ein neues Koordinatensystem entsteht, das dem gewünschten Blickwinkel entspricht. Zu den möglichen Transformationsarten gehören reine Translation, reine Rotation, eine Ähnlichkeitstransformation, die Translation, Rotation und Skalierung des zu transformierenden Bildes umfasst, sowie affine oder projektive Transformationen.

Bei der projektiven Transformation handelt es sich um die weiteste Transformation eines Bildes (im Rahmen der zweidimensionalen planaren Transformationen), bei der nur gerade Linien als sichtbare Merkmale im transformierten Bild erhalten bleiben, während bei einer affinen Transformation die Parallelität erhalten bleibt.

Die projektive Transformation kann mathematisch beschrieben werden als , wobei die Punkte im alten Koordinatensystem, die entsprechenden Punkte im transformierten Bild und die Homographiematrix sind . $${\displaystyle x'=H\cdot x,}$$${\displaystyle x}$${\displaystyle x'}$${\displaystyle H}$

Durch Ausdrücken der Punkte und unter Verwendung der Kamera-Intrinsics ( und ) sowie ihrer Rotation und Translation in die realen Weltkoordinaten und und '</math> erhalten wir ${\displaystyle x}$${\displaystyle x'}$${\displaystyle K}$${\displaystyle K'}$${\displaystyle [R\,t]}$${\displaystyle X}$${\displaystyle <math>x}$${\displaystyle x'}$

${\displaystyle X=K\cdot [R\,t]\cdot X}$Und .${\displaystyle X'=K'\cdot [R'\,t']\cdot X'}$

Mithilfe der obigen beiden Gleichungen und der Homographie-Relation zwischen und können wir Folgendes ableiten: ${\displaystyle x}$${\displaystyle x'}$$${\displaystyle H=K'\cdot R'\cdot R^{-1}\cdot K^{-1}.}$$

Die Homographiematrix besitzt 8 Parameter bzw. Freiheitsgrade. Sie lässt sich mittels direkter linearer Transformation und Singulärwertzerlegung (SVD) berechnen, wobei die Matrix aus den Koordinaten der Korrespondenzen konstruiert wird und der eindimensionale Vektor der 9 Elemente der umgeformten Homographiematrix ist. Um zu erhalten, kann die SVD angewendet werden: . Dabei ist die Spalte, die dem kleinsten Singulärvektor entspricht. Dies ist korrekt, da im Nullraum von liegt . Aufgrund der 8 Freiheitsgrade benötigt der Algorithmus mindestens vier Punktkorrespondenzen. Bei Verwendung von RANSAC zur Schätzung der Homographie und Vorliegen mehrerer Korrespondenzen ist die korrekte Homographiematrix diejenige mit der maximalen Anzahl an Inliern. ${\displaystyle H}$$${\displaystyle A\cdot h=0,}$$${\displaystyle A}$${\displaystyle h}$${\displaystyle h}$${\displaystyle A=U\cdot S\cdot V^{\mathrm {T} }}$${\displaystyle h=V}$${\displaystyle h}$${\displaystyle A}$

Beim Compositing werden die rektifizierten Bilder so ausgerichtet, dass sie wie eine einzige Aufnahme einer Szene wirken. Da der Algorithmus nun die überlappenden Korrespondenzen kennt, kann Compositing automatisch erfolgen.

Die Bildüberblendung umfasst die Anwendung der in der Kalibrierungsphase ermittelten Anpassungen in Kombination mit der Neuzuordnung der Bilder zu einer Ausgabeprojektion. Die Farben werden zwischen den Bildern angepasst , um Belichtungsunterschiede auszugleichen. Gegebenenfalls werden HDR- Überblendungen durchgeführt, zusammen mit Bewegungsunschärfekorrektur und Geisterbildentfernung. Die Bilder werden miteinander überblendet und die Nahtlinien angepasst, um die Sichtbarkeit der Übergänge zwischen den Bildern zu minimieren.

Die Nahtstelle lässt sich durch eine einfache Verstärkungsanpassung verringern. Diese Kompensation minimiert im Wesentlichen die Intensitätsunterschiede überlappender Pixel. Der Bildmischungsalgorithmus gewichtet Pixel in der Nähe der Bildmitte stärker. Verstärkungskompensierte und mehrbandig gemischte Bilder erzielen die besten Ergebnisse. IJCV 2007.

Das Begradigen ist eine weitere Methode zur Bildkorrektur. Matthew Brown und David G. Lowe beschreiben in ihrer Arbeit „Automatic Panoramic Image Stitching using Invariant Features“ Begradigungsverfahren, die eine globale Rotation anwenden, sodass der Vektor u (im Rendering-Frame) vertikal verläuft. Dadurch wird der Welleneffekt in den resultierenden Panoramen effektiv beseitigt. Dieses Verfahren ähnelt der Bildrektifizierung und allgemein der Softwarekorrektur optischer Verzerrungen in Einzelbildern.

Selbst nach der Verstärkungskompensation sind aufgrund verschiedener nicht modellierter Effekte, wie Vignettierung (Intensitätsabnahme zum Bildrand hin), Parallaxeneffekte durch unerwünschte Bewegung des optischen Zentrums, Registrierungsfehler aufgrund fehlerhafter Kameramodellierung, radiale Verzeichnung usw., noch Bildränder sichtbar. Aus diesen Gründen schlagen sie eine Überblendungsstrategie namens Mehrbandüberblendung vor.

Für Bildsegmente, die vom selben Punkt im Raum aus aufgenommen wurden, können die zusammengesetzten Bilder mithilfe verschiedener Kartenprojektionen angeordnet werden .

Bei der geradlinigen Projektion wird das zusammengesetzte Bild auf einer zweidimensionalen Ebene betrachtet, die die Panoramasphäre in einem einzigen Punkt schneidet. Linien, die in der Realität gerade verlaufen, werden unabhängig von ihrer Richtung im Bild als gerade dargestellt. Weite Ansichten – etwa 120° – weisen in der Nähe der Bildränder starke Verzerrungen auf. Ein Anwendungsbeispiel der geradlinigen Projektion ist die Verwendung von Würfelflächen mit kubischer Abbildung zur Panoramadarstellung. Das Panorama wird auf sechs Quadrate abgebildet, wobei jede Würfelfläche einen 90° × 90° großen Bereich des Panoramas darstellt.

Die Zylinderprojektion erzeugt ein horizontales Sichtfeld von 360° und ein begrenztes vertikales Sichtfeld. Panoramen in dieser Projektion werden so betrachtet, als ob das Bild in einen Zylinder gewickelt und von innen betrachtet würde. Auf einer zweidimensionalen Ebene erscheinen horizontale Linien gekrümmt, während vertikale Linien gerade bleiben. ^{[ 11 ]} Die vertikale Verzerrung nimmt zum oberen Rand der Panosphäre hin rapide zu. Es gibt verschiedene andere Zylinderprojektionen, wie beispielsweise die Mercator- und die Miller-Projektion , die in Polnähe weniger Verzerrungen aufweisen.

Die sphärische oder äquirektanguläre Projektion – streng genommen eine weitere zylindrische Projektion – zeigt ein zusammengesetztes Bild mit einem horizontalen Sichtfeld von 360° und einem vertikalen Sichtfeld von 180°, also die gesamte Kugel. Panoramen in dieser Projektion sollen so betrachtet werden, als ob das Bild in eine Kugel eingewickelt und von innen betrachtet würde. Bei der Betrachtung auf einer 2D-Ebene erscheinen horizontale Linien wie bei einer zylindrischen Projektion gekrümmt, während vertikale Linien vertikal bleiben. ^{[ 11 ]}

Da ein Panorama im Grunde eine Kugelabbildung ist, können bei Bedarf auch verschiedene andere Kartenprojektionen verwendet werden. Darüber hinaus gibt es spezielle Projektionen, die ästhetisch ansprechendere Vorteile gegenüber herkömmlichen Kartenprojektionen bieten können, wie beispielsweise Hugins Panini-Projektion ^{[ 12 ]} – benannt nach dem italienischen Vedutismo- Maler Giovanni Paolo Panini ^{[ 13 ]} – oder PTGuis Vedutismo-Projektion ^{[ 14 ]} . Verschiedene Projektionen können in einem Bild kombiniert werden, um das endgültige Erscheinungsbild des Ausgabebildes feinabzustimmen ^{[ 15 ] .}

Stereografische Projektion oder Fischaugenprojektion ermöglicht die Erstellung eines Little-Planet- Panoramas, indem die virtuelle Kamera senkrecht nach unten gerichtet und das Sichtfeld so groß eingestellt wird, dass der gesamte Boden und Teile des darüber liegenden Bereichs erfasst werden. Eine nach oben gerichtete virtuelle Kamera erzeugt einen Tunneleffekt. Die konforme Stereoprojektion kann, wie im Artikel zur Stereoprojektion erläutert, ein optisch ansprechenderes Ergebnis liefern als die flächentreue Fischaugenprojektion.

Artefakte aufgrund von Parallaxenfehlern

Artefakte aufgrund von Subjektbewegung

Die Verwendung von Bildern, die nicht vom selben Standort aus aufgenommen wurden (gedreht um die Eintrittspupille der Kamera) ^{[ 16 ],} kann zu Parallaxenfehlern im Endprodukt führen. Bei schnellen oder dynamischen Bewegungen in der aufgenommenen Szene können aufgrund von Zeitunterschieden zwischen den Bildsegmenten Artefakte auftreten. Das „Blind Stitching“ mittels merkmalsbasierter Ausrichtungsmethoden (siehe Autostitch ) kann im Gegensatz zur manuellen Auswahl und dem manuellen Stitching zu Ungenauigkeiten bei der Panoramaerstellung führen.

Zu den spezialisierten Programmen gehören Autostitch , Hugin , Ptgui , Panorama Tools , Microsoft Research Image Composite Editor und CleVR Stitcher . Viele weitere Programme können ebenfalls mehrere Bilder zusammenfügen; ein bekanntes Beispiel ist Adobe Systems Photoshop , das das Werkzeug Photomerge und in den neuesten Versionen die neue Funktion Auto-Blend enthält . Andere Programme wie VideoStitch ermöglichen das Zusammenfügen von Videos, und Vahana VR ermöglicht das Zusammenfügen von Videos in Echtzeit. Das Modul „Image Stitching“ der Mikroskop-Software QuickPHOTO ermöglicht das interaktive Zusammenfügen mehrerer Bildfelder des Mikroskops mithilfe der Live-Ansicht der Kamera. Es kann auch zum manuellen Zusammenfügen ganzer Mikroskopie-Präparate verwendet werden.

• ActionShot- Panoramafotografie
• Anaglyph 3D
• Abgeleitete Werke
• Digitales Bildmosaik
• Dokumentenmosaik
• Panographie
• Panoramafotografie
• VR-Fotografie (interaktive Panoramen)

• Medien zum Thema Nähen auf Wikimedia Commons