Funktion (Computer Vision)

In der Computer Vision und Bildverarbeitung bezeichnet ein Merkmal eine Information über den Inhalt eines Bildes; typischerweise darüber, ob ein bestimmter Bildbereich bestimmte Eigenschaften aufweist. Merkmale können spezifische Strukturen im Bild sein, wie Punkte, Kanten oder Objekte. Sie können aber auch das Ergebnis einer allgemeinen Nachbarschaftsoperation oder Merkmalserkennung sein , die auf das Bild angewendet wird. Weitere Beispiele für Merkmale beziehen sich auf Bewegungen in Bildsequenzen oder auf Formen, die durch Kurven oder Grenzen zwischen verschiedenen Bildbereichen definiert sind.

Allgemeiner bezeichnet ein Merkmal jede Information, die für die Lösung einer Rechenaufgabe in einer bestimmten Anwendung relevant ist. Dies entspricht dem Merkmalsbegriff im maschinellen Lernen und der Mustererkennung im Allgemeinen, obwohl die Bildverarbeitung über eine sehr differenzierte Sammlung von Merkmalen verfügt. Das Merkmalskonzept ist sehr allgemein, und die Auswahl der Merkmale in einem bestimmten Computer-Vision-System kann stark vom jeweiligen Problem abhängen.

Es gibt keine allgemeingültige oder exakte Definition dessen, was ein Merkmal ausmacht, und die genaue Definition hängt oft vom jeweiligen Problem oder der Art der Anwendung ab. Dennoch wird ein Merkmal typischerweise als ein „interessanter“ Teil eines Bildes definiert , und Merkmale dienen als Ausgangspunkt für viele Algorithmen der Computer Vision.

Da Merkmale als Ausgangspunkt und grundlegende Bausteine ​​für nachfolgende Algorithmen dienen, ist der Gesamtalgorithmus oft nur so gut wie sein Merkmalsdetektor. Daher ist die wünschenswerte Eigenschaft eines Merkmalsdetektors die Wiederholbarkeit : ob dasselbe Merkmal in zwei oder mehr verschiedenen Bildern derselben Szene erkannt wird.

Die Merkmalserkennung ist eine grundlegende Bildverarbeitungsoperation . Sie wird üblicherweise als erster Schritt auf ein Bild angewendet und untersucht jedes Pixel auf das Vorhandensein eines Merkmals. Ist sie Teil eines größeren Algorithmus, beschränkt sich dieser typischerweise auf die Untersuchung des Bildes im Bereich der Merkmale. Voraussetzung für die Merkmalserkennung ist in der Regel die Glättung des Eingabebildes mittels eines Gaußschen Kernels in einer Skalenraumdarstellung . Anschließend werden ein oder mehrere Merkmalsbilder berechnet, die häufig durch lokale Bildableitungsoperationen ausgedrückt werden .

Gelegentlich, wenn die Merkmalserkennung rechenintensiv ist und Zeitbeschränkungen bestehen, kann ein übergeordneter Algorithmus verwendet werden, um die Merkmalserkennungsphase zu steuern, sodass nur bestimmte Teile des Bildes nach Merkmalen durchsucht werden.

Viele Computer-Vision-Algorithmen nutzen die Merkmalserkennung als ersten Schritt, weshalb eine sehr große Anzahl von Merkmalsdetektoren entwickelt wurde. Diese unterscheiden sich stark hinsichtlich der erkannten Merkmale, der Rechenkomplexität und der Reproduzierbarkeit.

Werden Merkmale mithilfe lokaler Nachbarschaftsoperationen auf ein Bild definiert – ein Verfahren, das gemeinhin als Merkmalsextraktion bezeichnet wird –, lassen sich zwei Arten der Merkmalserkennung unterscheiden: Verfahren, die lokal entscheiden, ob an einem bestimmten Bildpunkt ein Merkmal eines bestimmten Typs vorhanden ist oder nicht, und solche, die nicht-binäre Daten erzeugen. Diese Unterscheidung ist relevant, wenn die erkannten Merkmale relativ spärlich sind. Obwohl lokale Entscheidungen getroffen werden, muss das Ergebnis der Merkmalserkennung kein Binärbild sein. Es wird häufig als Menge von (zusammenhängenden oder nicht zusammenhängenden) Koordinaten der Bildpunkte dargestellt, an denen Merkmale erkannt wurden, mitunter sogar mit Subpixelgenauigkeit.

Wird die Merkmalsextraktion ohne lokale Entscheidungsfindung durchgeführt, spricht man vom Merkmalsbild . Ein Merkmalsbild kann somit als Bild betrachtet werden, da es eine Funktion derselben räumlichen (oder zeitlichen) Variablen wie das Originalbild ist, wobei die Pixelwerte jedoch Informationen über Bildmerkmale anstelle von Intensität oder Farbe enthalten. Daher kann ein Merkmalsbild ähnlich wie ein gewöhnliches, von einem Bildsensor erzeugtes Bild verarbeitet werden. Merkmalsbilder werden zudem häufig als integrierter Schritt in Algorithmen zur Merkmalserkennung berechnet.

In manchen Anwendungen genügt es nicht, nur einen Merkmalstyp zu extrahieren, um die relevanten Informationen aus den Bilddaten zu gewinnen. Stattdessen werden zwei oder mehr verschiedene Merkmale extrahiert, was zu zwei oder mehr Merkmalsdeskriptoren an jedem Bildpunkt führt. Üblicherweise werden die von all diesen Deskriptoren bereitgestellten Informationen als Elemente eines einzigen Vektors, des sogenannten Merkmalsvektors , organisiert . Die Menge aller möglichen Merkmalsvektoren bildet den Merkmalsraum . ^{[ 1 ]}

Ein häufiges Beispiel für Merkmalsvektoren ist die Klassifizierung jedes Bildpunktes zu einer bestimmten Klasse. Unter der Annahme, dass jedem Bildpunkt ein entsprechender Merkmalsvektor basierend auf einem geeigneten Merkmalsatz zugeordnet ist und die Klassen im jeweiligen Merkmalsraum somit klar voneinander getrennt sind, kann die Klassifizierung jedes Bildpunktes mithilfe gängiger Klassifizierungsmethoden erfolgen .

Vereinfachtes Beispiel für das Training eines neuronalen Netzes zur Objekterkennung: Das Netz wird mit mehreren Bildern trainiert, die Seesterne und Seeigel darstellen . Diese Bilder werden mit „Knoten“ korreliert, die visuelle Merkmale repräsentieren. Seesterne weisen eine ringförmige Textur und eine sternförmige Kontur auf, während die meisten Seeigel eine gestreifte Textur und eine ovale Form aufweisen. Das Bild eines Seeigels mit ringförmiger Textur erzeugt jedoch eine schwach gewichtete Assoziation zwischen ihnen.

Nachfolgender Durchlauf des Netzwerks auf einem Eingabebild (links): ^{[ 2 ]} Das Netzwerk erkennt den Seestern korrekt. Die schwach gewichtete Assoziation zwischen der ringförmigen Textur und dem Seeigel führt jedoch auch zu einem schwachen Signal für Letzteren, basierend auf einem von zwei Merkmalen. Zusätzlich liefert eine nicht im Training enthaltene Muschel ein schwaches Signal für die ovale Form, was wiederum zu einem schwachen Signal für die Seeigel-Erkennung führt. Diese schwachen Signale können ein falsch positives Ergebnis für Seeigel verursachen. In der Realität würden Texturen und Konturen nicht durch einzelne Knoten, sondern durch assoziierte Gewichtungsmuster mehrerer Knoten repräsentiert.

Ein weiteres, verwandtes Beispiel ist die Bildverarbeitung mittels neuronaler Netze . Die Eingangsdaten für das neuronale Netz bestehen häufig aus einem Merkmalsvektor, der aus jedem Bildpunkt extrahiert wird. Dieser Vektor setzt sich aus verschiedenen Merkmalen zusammen, die aus den Bilddaten gewonnen werden. Während der Lernphase findet das Netz selbstständig heraus, welche Merkmalskombinationen für die Lösung des jeweiligen Problems geeignet sind.

Kanten sind Punkte, an denen eine Grenze (oder ein Übergang) zwischen zwei Bildbereichen verläuft. Im Allgemeinen kann eine Kante nahezu beliebige Formen annehmen und auch Verbindungsstellen enthalten. In der Praxis werden Kanten üblicherweise als Punktmengen im Bild definiert, die eine hohe Gradientenstärke aufweisen . Gängige Algorithmen fassen solche Punkte mit hoher Gradientenstärke zusammen, um eine Kantenbeschreibung zu präzisieren. Diese Algorithmen legen in der Regel bestimmte Bedingungen für die Eigenschaften einer Kante fest, wie beispielsweise Form, Glätte und Gradientenwert.

Lokal betrachtet besitzen Kanten eine eindimensionale Struktur.

Die Begriffe Ecken und Blickpunkte werden weitgehend synonym verwendet und bezeichnen punktförmige Merkmale in einem Bild mit einer lokalen zweidimensionalen Struktur. Der Name „Ecke“ entstand, weil frühe Algorithmen zunächst Kanten detektierten und diese dann analysierten, um abrupte Richtungsänderungen (Ecken) zu finden. Diese Algorithmen wurden später so weiterentwickelt, dass eine explizite Kantendetektion nicht mehr nötig war, beispielsweise durch die Suche nach starker Krümmung im Bildgradienten . Dabei fiel auf, dass sogenannte Ecken auch an Bildbereichen detektiert wurden, die im herkömmlichen Sinne keine Ecken waren (beispielsweise ein kleiner heller Fleck auf dunklem Hintergrund). Diese Punkte werden häufig als Blickpunkte bezeichnet, der Begriff „Ecke“ wird jedoch traditionell weiterhin verwendet.

Blobs bieten eine ergänzende Beschreibung von Bildstrukturen anhand von Regionen, im Gegensatz zu Ecken, die eher punktförmig sind. Dennoch können Blob-Deskriptoren häufig einen bevorzugten Punkt enthalten (ein lokales Maximum einer Operatorantwort oder einen Schwerpunkt), was bedeutet, dass viele Blob-Detektoren auch als Interessepunktoperatoren betrachtet werden können. Blob-Detektoren können Bereiche in einem Bild erkennen, die zu glatt sind, um von einem Eckendetektor erfasst zu werden.

Betrachten wir ein Bild, das verkleinert wird, und führen wir anschließend eine Eckenerkennung durch. Der Detektor reagiert auf Punkte, die im verkleinerten Bild scharfkantig sind, im Originalbild jedoch glatt erscheinen können. An diesem Punkt verschwimmt die Grenze zwischen einem Eckendetektor und einem Blob-Detektor. Diese Unterscheidung lässt sich weitgehend durch die Einbeziehung eines geeigneten Skalierungsbegriffs beheben. Aufgrund ihrer unterschiedlichen Reaktionseigenschaften auf verschiedene Bildstrukturen in verschiedenen Maßstäben werden die LoG- und DoH- Blob-Detektoren dennoch auch im Artikel zur Eckenerkennung erwähnt .

Bei länglichen Objekten bietet sich die Verwendung von Kantenstrukturen an. Ein aus einem Graustufenbild berechneter Kantendeskriptor kann als Verallgemeinerung einer Mittelachse betrachtet werden . Praktisch gesehen lässt sich eine Kante als eindimensionale Kurve verstehen, die eine Symmetrieachse darstellt und deren Punkte jeweils eine lokale Kantenbreite aufweisen. Die Extraktion von Kantenmerkmalen aus allgemeinen Klassen von Graustufenbildern ist jedoch algorithmisch schwieriger als die von Kanten-, Eck- oder Flächenmerkmalen. Dennoch werden Kantendeskriptoren häufig zur Straßenerkennung in Luftbildern und zur Extraktion von Blutgefäßen in medizinischen Bildern verwendet – siehe Kantenerkennung .

Die Merkmalserkennung umfasst Methoden zur Berechnung von Abstraktionen der Bildinformation und zur lokalen Entscheidung an jedem Bildpunkt, ob an diesem Punkt ein Bildmerkmal eines bestimmten Typs vorhanden ist oder nicht. Die resultierenden Merkmale sind Teilmengen des Bildbereichs, häufig in Form von isolierten Punkten, stetigen Kurven oder zusammenhängenden Bereichen.

Die Extraktion von Merkmalen erfolgt mitunter über mehrere Skalierungsstufen hinweg. Eine dieser Methoden ist die Scale-Invariant Feature Transform (SIFT).

Sobald Merkmale erkannt wurden, kann ein lokaler Bildausschnitt um das jeweilige Merkmal extrahiert werden. Diese Extraktion kann einen erheblichen Aufwand an Bildverarbeitung erfordern. Das Ergebnis wird als Merkmalsdeskriptor oder Merkmalsvektor bezeichnet. Zu den Ansätzen zur Merkmalsbeschreibung zählen N -Jets und lokale Histogramme (siehe Scale-Invariant Feature Transform für ein Beispiel eines lokalen Histogrammdeskriptors). Zusätzlich zu diesen Attributinformationen kann die Merkmalserkennung selbst auch komplementäre Attribute liefern, wie beispielsweise die Kantenorientierung und Gradientenstärke bei der Kantenerkennung sowie die Polarität und Stärke des Blobs bei der Blob-Erkennung.

• Kantenerkennung
• Eckenerkennung
• Blob-Erkennung
• Graterkennung
• Skaleninvariante Merkmalsumwandlung

• Kantenrichtung, Intensitätsänderung, Autokorrelation .

• Bewegungserkennung . Flächenbasierter, differenzieller Ansatz. Optischer Fluss .

• Schwellenwertbildung
• Blob-Extraktion
• Vorlagenübereinstimmung
• Hough-Transformation
  • Linien
  • Kreise/Ellipsen
  • Beliebige Formen (verallgemeinerte Hough-Transformation)
  • Funktioniert mit allen parametrisierbaren Merkmalen (Klassenvariablen, Clustererkennung usw.).
• Verallgemeinerte Hough-Transformation

• Verformbare, parametrisierte Formen
• Aktive Konturen (Schlangen)

Ein bestimmtes Bildmerkmal, definiert durch eine spezifische Struktur in den Bilddaten, lässt sich oft auf verschiedene Weisen darstellen. Beispielsweise kann eine Kante als boolesche Variable in jedem Bildpunkt repräsentiert werden, die angibt, ob an diesem Punkt eine Kante vorhanden ist. Alternativ kann man eine Repräsentation verwenden, die anstelle einer booleschen Aussage über die Existenz der Kante ein Maß für die Sicherheit liefert und dieses mit Informationen über die Ausrichtung der Kante kombiniert. Ebenso kann die Farbe eines bestimmten Bereichs entweder durch die durchschnittliche Farbe (drei Skalare) oder durch ein Farbhistogramm (drei Funktionen) dargestellt werden.

Bei der Entwicklung eines Computer-Vision-Systems oder -Algorithmus kann die Wahl der Merkmalsdarstellung entscheidend sein. In manchen Fällen ist eine detailliertere Merkmalsbeschreibung notwendig, um das Problem zu lösen. Dies führt jedoch zu einem größeren Datenvolumen und aufwändigerer Verarbeitung. Im Folgenden werden einige Faktoren erläutert, die für die Wahl einer geeigneten Darstellung relevant sind. Eine Instanz einer Merkmalsdarstellung wird hier als „Feature-Repräsentation“ bezeichnet.Merkmalsdeskriptor oder einfachDeskriptor.

Zwei Beispiele für Bildmerkmale sind die lokale Kantenorientierung und die lokale Geschwindigkeit in einer Bildsequenz. Im Fall der Orientierung kann der Wert dieses Merkmals mehr oder weniger undefiniert sein, wenn in der entsprechenden Umgebung mehrere Kanten vorhanden sind. Die lokale Geschwindigkeit ist undefiniert, wenn der entsprechende Bildbereich keine räumliche Variation aufweist. Daher kann es sinnvoll sein, eine Merkmalsdarstellung zu verwenden, die ein Maß für die Sicherheit oder das Vertrauen in die Aussage über den Merkmalswert enthält. Andernfalls wird typischerweise derselbe Deskriptor verwendet, um Merkmalswerte mit geringer Sicherheit und Merkmalswerte nahe Null darzustellen, was zu einer Mehrdeutigkeit in der Interpretation dieses Deskriptors führt. Je nach Anwendung kann eine solche Mehrdeutigkeit akzeptabel sein oder nicht.

Insbesondere wenn ein Merkmalsbild in der weiteren Verarbeitung verwendet wird, empfiehlt sich die Verwendung einer Merkmalsdarstellung, die Informationen über Sicherheit oder Konfidenz enthält . Dadurch lässt sich ein neuer Merkmalsdeskriptor aus mehreren Deskriptoren berechnen, beispielsweise aus Deskriptoren, die am selben Bildpunkt, aber in unterschiedlichen Maßstäben, oder an verschiedenen, aber benachbarten Punkten berechnet wurden. Die Berechnung erfolgt als gewichteter Durchschnitt, wobei die Gewichte aus den entsprechenden Sicherheiten abgeleitet werden. Im einfachsten Fall kann die Berechnung als Tiefpassfilterung des Merkmalsbildes implementiert werden. Das resultierende Merkmalsbild ist im Allgemeinen unempfindlicher gegenüber Rauschen.

Neben der Einbeziehung von Konfidenzmaßen in die Repräsentation kann die Repräsentation der entsprechenden Merkmalswerte selbst für eine Mittelwertbildung geeignet sein oder nicht. Die meisten Merkmalsrepräsentationen lassen sich in der Praxis mitteln, aber nur in bestimmten Fällen kann der resultierende Deskriptor korrekt als Merkmalswert interpretiert werden. Solche Repräsentationen werden als mittelwertfähig bezeichnet .

Wird beispielsweise die Orientierung einer Kante durch einen Winkel dargestellt, weist diese Darstellung eine Unstetigkeit auf, an der der Winkel von seinem Maximalwert zu seinem Minimalwert überspringt. Folglich kann es vorkommen, dass zwei ähnliche Orientierungen durch Winkel dargestellt werden, deren Mittelwert nicht nahe an einem der ursprünglichen Winkel liegt. Daher ist diese Darstellung nicht mittelbar. Es gibt jedoch andere, mittelbare Darstellungen der Kantenorientierung, wie beispielsweise den Strukturtensor .

Ein weiteres Beispiel betrifft die Bewegung, bei der in manchen Fällen nur die Normalgeschwindigkeit relativ zu einer Kante extrahiert werden kann. Wurden zwei solcher Merkmale extrahiert und kann angenommen werden, dass sie dieselbe tatsächliche Geschwindigkeit beschreiben, wird diese Geschwindigkeit nicht als Mittelwert der Normalgeschwindigkeitsvektoren angegeben. Normalgeschwindigkeitsvektoren sind also nicht mittelbar. Stattdessen gibt es andere Darstellungen von Bewegungen mithilfe von Matrizen oder Tensoren, die die tatsächliche Geschwindigkeit als Mittelwert der Normalgeschwindigkeitsdeskriptoren angeben.

Die in jedem Bild erkannten Merkmale können über mehrere Bilder hinweg abgeglichen werden, um entsprechende Merkmale wie korrespondierende Punkte zu ermitteln .

Der Algorithmus basiert auf dem Vergleich und der Analyse von Punktkorrespondenzen zwischen dem Referenzbild und dem Zielbild. Wenn ein Teil der unübersichtlichen Szene Korrespondenzen aufweist, die den Schwellenwert überschreiten, wird dieser Teil des Bildes der unübersichtlichen Szene als Ziel ausgewählt und als das darin enthaltenes Referenzobjekt betrachtet. ^{[ 18 ]}

• Computer Vision
• Automatische Bildannotation
• Feature-Lernen
• Merkmalsauswahl
• Vordergrunderkennung
• Vektorisierung (Bildnachzeichnung)

• T. Lindeberg (2009). „Scale-space“ . In: Benjamin Wah (Hrsg.). Encyclopedia of Computer Science and Engineering . Band IV. John Wiley and Sons. S.  2495–2504 . doi : 10.1002/9780470050118.ecse609 . ISBN 978-0470050118Die(Zusammenfassung und Überblick über eine Reihe von Merkmalsdetektoren, die auf Skalenraumoperationen basieren)