umgekehrte Bildersuche

Die umgekehrte Bildersuche ist eine inhaltsbasierte Bildabfragetechnik ( CBIR) , bei der dem CBIR-System ein Beispielbild zur Verfügung gestellt wird, auf dem die Suche basiert. Dieses Beispielbild ist für die Informationssuche sehr nützlich. Die umgekehrte Bildersuche zeichnet sich insbesondere durch das Fehlen von Suchbegriffen aus. Dadurch entfällt für den Benutzer die Notwendigkeit, Schlüsselwörter oder Begriffe zu erraten, die möglicherweise kein korrektes Ergebnis liefern. Die umgekehrte Bildersuche ermöglicht es Benutzern außerdem, Inhalte zu entdecken, die mit einem bestimmten Beispielbild ^{[ 1 ]} oder der Popularität eines Bildes in Zusammenhang stehen, sowie bearbeitete Versionen und abgeleitete Werke ^{[ 2 ] .}

Eine visuelle Suchmaschine ist eine Suchmaschine , die Informationen im World Wide Web mittels umgekehrter Bildersuche findet. Die gefundenen Informationen können Webseiten , Orte, andere Bilder und Dokumente umfassen. Diese Art von Suchmaschine wird hauptsächlich für die mobile Internetsuche verwendet, indem nach einem unbekannten Objekt (unbekannter Suchbegriff) anhand eines Bildes gesucht wird. Beispiele hierfür sind Gebäude in einer fremden Stadt. Diese Suchmaschinen nutzen häufig Techniken zur inhaltsbasierten Bildsuche .

Eine visuelle Suchmaschine durchsucht Bilder und Muster anhand eines Algorithmus , der die erkannten Muster analysiert und entsprechende Informationen auf Basis der selektiven Mustererkennung liefert.

Die umgekehrte Bildersuche kann verwendet werden, um: ^{[ 3 ]}

• Ermitteln Sie die Quelle eines Bildes.
• Suchen Sie nach Versionen mit höherer Auflösung.
• Finden Sie Webseiten, auf denen das Bild erscheint.
• Finde den Urheber des Inhalts.
• Informationen zu einem Bild abrufen.

Häufig verwendete Algorithmen zur umgekehrten Bildersuche sind: ^{[ 4 ]}

• Scale-invariant feature transform – to extract local features of an image ^{[ 5 ]}
• Maximal stabile Extremalregionen
• Vokabelbaum

Eine Bildsuchmaschine ist eine Suchmaschine, die speziell für das Auffinden von Bildern entwickelt wurde. Die Suche kann auf Schlüsselwörtern, einem Bild oder einem Weblink zu einem Bild basieren . Die Ergebnisse hängen von den Suchkriterien ab, wie beispielsweise Metadaten , Farbverteilung, Form usw., sowie von der vom Browser verwendeten Suchtechnik.

Zwei Techniken, die derzeit bei der Bildersuche verwendet werden:

Search by metadata: Image search is based on comparison of metadata associated with the image as keywords, text, etc. and it is obtained by employing a set of images sorted by relevance. The metadata associated with each image can reference the title of the image, format, color, etc. and can be generated manually or automatically. This metadata generation process is called audiovisual indexing.

Search by example: In this technique, also called reverse image search, the search results are obtained through the comparison between images using content-based image retrieval computer vision techniques. During the search the content of the image is examined, such as color, shape, texture or any visual information that can be extracted from the image. This system requires a higher computational complexity, but is more efficient and reliable than search by metadata.

There are image searchers that combine both search techniques. For example, the first search is done by entering a text. The images obtained are then used to refine the search.

A video search engine is a search engine designed to search video on the net. Some video searchers process the search directly in the Internet, while others shelter the videos from which the search is done. Some searchers also enable to use as search parameters the format or the length of the video. Usually the results come with a miniature capture of the video.

Currently, almost all video searchers are based on keywords (search by metadata) to perform searches. These keywords can be found in the title of the video, text accompanying the video or can be defined by the author. An example of this type of search is YouTube.

A searcher of 3D models aims to find the file of a 3D modeling object from a database or network. At first glance the implementation of this type of searchers may seem unnecessary, but due to the continuous documentary inflation of the Internet, every day it becomes more necessary indexing information.

These have been used with traditional text-based searchers (keywords / tags), where the authors of the indexed material, or Internet users, have contributed these tags or keywords. Because it is not always effective, it has recently been investigated in the implementation of search engines that combine the search using text with the search compared to 2D drawings, 3D drawings and 3D models.

Princeton University has developed a search engine that combines all these parameters to perform the search, thus increasing the efficiency of search.^[6]

Eine mobile Bildsuche ist eine speziell für Mobiltelefone entwickelte Suchmaschine , mit der Sie beliebige Informationen im Internet finden können – entweder anhand eines mit Ihrem Mobiltelefon aufgenommenen Bildes oder mithilfe bestimmter Wörter ( Schlüsselwörter ). Mobile visuelle Suchlösungen ermöglichen die Integration von Bilderkennungssoftware in Ihre eigenen mobilen Anwendungen. Mobile visuelle Suche (MVS) schließt die Lücke zwischen Online- und Offline- Medien und ermöglicht es Ihnen, Ihre Kunden mit digitalen Inhalten zu verbinden .

Mobiltelefone haben sich zu leistungsstarken Bild- und Videoverarbeitungsgeräten mit hochauflösenden Kameras, Farbdisplays und hardwarebeschleunigter Grafik entwickelt. Sie sind zunehmend auch mit einem GPS ausgestattet und mit drahtlosen Breitbandnetzen verbunden. All dies ermöglicht eine neue Klasse von Anwendungen, die das Kamerahandy nutzen, um Suchanfragen zu Objekten in der unmittelbaren Umgebung des Nutzers zu starten (Abbildung 1). Solche Anwendungen können beispielsweise zur Produktidentifizierung, zum Preisvergleich, zur Informationssuche über Filme, CDs, Immobilien, Printmedien oder Kunstwerke verwendet werden.

Typischerweise verwendet diese Art von Suchmaschine Techniken wie die Abfrage anhand von Beispielen oder die Bildabfrage anhand von Beispielen . Dabei werden Inhalt, Form, Textur und Farbe des Bildes verwendet, um sie mit einer Datenbank zu vergleichen und dann die ungefähren Ergebnisse der Abfrage zu liefern.

Der bei diesen Suchvorgängen auf Mobiltelefonen verwendete Prozess ist wie folgt:

Zunächst wird das Bild an die Serveranwendung gesendet. Dort wird es von verschiedenen Analyseteams untersucht, die jeweils auf unterschiedliche Bildbestandteile spezialisiert sind. Anschließend entscheidet jedes Team, ob das Bild die für sein Fachgebiet relevanten Merkmale enthält oder nicht.

Sobald dieser gesamte Vorgang abgeschlossen ist, analysiert ein Zentralrechner die Daten und erstellt eine Seite mit den Ergebnissen, sortiert nach der Effizienz jedes Teams, die schließlich an das Mobiltelefon gesendet wird .

Yandex Images bietet eine weltweite umgekehrte Bildersuche. Die Website nutzt die gängige Content-Based Image Retrieval (CBIR)-Technologie, die auch von vielen anderen Websites verwendet wird, setzt aber zusätzlich auf künstliche Intelligenz, um basierend auf der Suchanfrage weitere Ergebnisse zu finden. ^{[ 7 ]} Nutzer können Bilder per Drag & Drop in die Suchleiste ziehen, um im Internet nach ähnlichen Bildern zu suchen. Neben den bekannteren sozialen Medien durchsucht Yandex Images auch weniger bekannte Plattformen und bietet Rechteinhabern so die Möglichkeit, Plagiate ihrer Bild- oder Fotorechte aufzudecken.

Die Google- Bildersuche ist eine Funktion, die die umgekehrte Bildersuche nutzt und es Nutzern ermöglicht, nach ähnlichen Bildern zu suchen, indem sie ein Bild hochladen oder die Bild-URL kopieren. Google analysiert dazu das hochgeladene Bild und erstellt ein mathematisches Modell. Dieses wird anschließend mit anderen Bildern in den Google-Datenbanken verglichen, bevor passende und ähnliche Ergebnisse angezeigt werden. Sofern verfügbar, verwendet Google auch Metadaten zum Bild, wie beispielsweise eine Beschreibung. Im Jahr 2022 wurde diese Funktion durch Google Lens als standardmäßige visuelle Suchmethode ersetzt . Die alte Bildersuche ist weiterhin in Google Lens verfügbar. ^{[ 8 ]}

TinEye ist eine Suchmaschine, die auf die umgekehrte Bildersuche spezialisiert ist. Nach dem Hochladen eines Bildes erstellt TinEye eine „eindeutige und kompakte digitale Signatur oder einen Fingerabdruck“ des Bildes und gleicht diesen mit anderen indizierten Bildern ab. ^{[ 9 ]} Dieses Verfahren kann selbst stark bearbeitete Versionen des hochgeladenen Bildes finden, liefert aber in der Regel keine ähnlichen Bilder in den Ergebnissen. ^{[ 10 ]}

Lenso.ai ist eine webbasierte umgekehrte Bildersuchmaschine, die künstliche Intelligenz nutzt , um Bildquellen zu identifizieren und visuell ähnliche Bilder zu erkennen ^{[ 11 ]} und Gesichtserkennungssuchen durchzuführen ^{[ 12 ]} .

Die Pixsy-Technologie zur umgekehrten Bildersuche erkennt Übereinstimmungen ^{[ 13 ]} im öffentlichen Internet mit Bildern, die auf die Pixsy-Plattform hochgeladen wurden. ^{[ 14 ]} Neue Treffer werden automatisch erkannt und der Nutzer benachrichtigt. Bei unerlaubter Nutzung bietet Pixsy einen Entschädigungsservice ^{[ 15 ] [ 16 ]} für die kommerzielle Nutzung der Werke der Bildinhaber an. Pixsy arbeitet mit über 25 Anwaltskanzleien und Anwälten weltweit zusammen, um Urheberrechtsverletzungen zu verfolgen. Pixsy ist der strategische Bildüberwachungsdienst für die Flickr-Plattform und deren Nutzer. ^{[ 17 ]}

eBay ShopBot nutzt die umgekehrte Bildersuche, um Produkte anhand eines vom Nutzer hochgeladenen Fotos zu finden. eBay verwendet ein ResNet-50-Netzwerk zur Kategorienerkennung, Bild-Hashes werden in Google Bigtable gespeichert ; Apache Spark- Jobs werden von Google Cloud Platforms Dataproc zur Extraktion der Bild-Hashes ausgeführt ; und der Bild-Ranking-Dienst wird von Kubernetes bereitgestellt . ^{[ 18 ]}

SK Planet uses reverse image search to find related fashion items on its e-commerce website. It developed the vision encoder network based on the TensorFlowinception-v3, with speed of convergence and generalization for production usage. A recurrent neural network is used for multi-class classification, and fashion-product region-of interest detection is based on Faster R-CNN. SK Planet's reverse image search system is built in less than 100 man-months.^[19]

Alibaba released the Pailitao application in 2014. Pailitao (Chinese: 拍立淘, literally means shopping through a camera) allows users to search for items on Alibaba's E-commercial platform by taking a photo of the query object. The Pailitao application uses a deep CNN model with branches for joint detection and feature learning to discover the detection mask and exact discriminative feature without background disturbance. GoogLeNet V1 is employed as the base model for category prediction and feature learning.^[20][21]

Pinterest acquired startup company VisualGraph in 2014 and introduced visual search on its platform.^[22] In 2015, Pinterest published a paper at the ACMConference on Knowledge Discovery and Data Mining conference and disclosed the architecture of the system. The pipeline uses Apache Hadoop, the open-source Caffeconvolutional neural network framework, Cascading for batch processing, PinLater for messaging, and Apache HBase for storage. Image characteristics, including local features, deep features, salient color signatures and salient pixels are extracted from user uploads. The system is operated by Amazon EC2, and only requires a cluster of 5 GPU instances to handle daily image uploads onto Pinterest. By using reverse image search, Pinterest is able to extract visual features from fashion objects (e.g. shoes, dress, glasses, bag, watch, pants, shorts, bikini, earrings) and offer product recommendations that look similar.^[23][24]

JD.com stellte auf der Middleware '18-Konferenz Design und Implementierung seines Echtzeit-Bildsuchsystems vor . Die von Fachkollegen begutachtete Veröffentlichung konzentriert sich auf die Algorithmen des verteilten, hierarchischen Bildmerkmalextraktions-, Indizierungs- und Abrufsystems von JD, das 300 Millionen täglich aktive Nutzer hat. Das System konnte bei seiner Inbetriebnahme im Jahr 2018 80 Millionen Datenbankaktualisierungen pro Stunde verarbeiten. ^{[ 25 ]}

Microsoft Bing veröffentlichte die Architektur seines Systems zur umgekehrten Bildersuche auf der KDD'18-Konferenz. In der Veröffentlichung wird erläutert, dass verschiedene Merkmale eines vom Nutzer hochgeladenen Suchbildes verwendet werden, um dessen Inhalt zu beschreiben. Dazu gehören Deep-Neural-Network -Encoder, Merkmale zur Kategorienerkennung, Gesichtserkennung , Farberkennung und Duplikaterkennung. ^{[ 26 ]}

Amazon.com hat die Architektur einer visuellen Suchmaschine für Mode- und Haushaltsprodukte namens Amazon Shop the Look in einem auf der KDD'22-Konferenz veröffentlichten Paper vorgestellt. Das Paper beschreibt die Erfahrungen, die Amazon beim Einsatz in einer Produktionsumgebung gesammelt hat, darunter die datenbasierte Erweiterung mittels Bildsynthese zur Optimierung der Suchleistung und Verbesserung der Genauigkeit. ^{[ 27 ]}

Das Beijing Lab von Microsoft Research Asia veröffentlichte in den Proceedings of the IEEE einen Artikel über die Systeme Arista-SS (Ähnliche Suche) und Arista-DS (Duplikatsuche). Arista-DS verwendet ausschließlich Duplikatsuchalgorithmen wie die Hauptkomponentenanalyse auf Basis globaler Bildmerkmale, um Rechen- und Speicherkosten zu reduzieren. Arista-DS kann mit 10 Servern Duplikate in 2 Milliarden Bildern suchen, erkennt dabei aber keine nahezu identischen Duplikate. ^{[ 28 ]}

Im Jahr 2007 wurde die Puzzle-Bibliothek unter der ISC-Lizenz veröffentlicht . Puzzle wurde entwickelt, um die umgekehrte Bildersuche für visuell ähnliche Bilder zu ermöglichen, selbst nachdem die Bilder in der Größe verändert, neu komprimiert, umgefärbt und/oder leicht modifiziert wurden. ^{[ 29 ]}

Das Open-Source- Projekt image-match wurde 2016 veröffentlicht. Das unter der Apache-Lizenz lizenzierte Projekt implementiert eine in Python geschriebene umgekehrte Bildsuchmaschine . ^{[ 30 ]}

Sowohl die Puzzle-Bibliothek als auch die Bildvergleichsprojekte verwenden Algorithmen, die auf einer IEEE ICIP-Konferenz veröffentlicht wurden. ^{[ 31 ]}

Im Jahr 2017 veröffentlichte Facebook die FAISS-Bibliothek unter der MIT-Lizenz . ^{[ 32 ]} FAISS kann zur Ähnlichkeitssuche und zum Clustering dichter Vektoren verwendet werden, was in umgekehrten Bildsuchmaschinen und Bildähnlichkeitssuchmaschinen Anwendung findet. ^{[ 33 ] [ 34 ]}

Ein 2019 bei O’Reilly erschienenes Buch beschreibt, wie sich ein einfaches System zur umgekehrten Bildersuche innerhalb weniger Stunden entwickeln lässt. Das Buch behandelt die Extraktion von Bildmerkmalen und die Ähnlichkeitssuche sowie fortgeschrittenere Themen wie Skalierbarkeit mithilfe von GPUs und die Optimierung der Suchgenauigkeit. ^{[ 35 ]} Der Quellcode des Systems wurde auf GitHub frei zugänglich gemacht . ^{[ 36 ]}

Der Rechenaufwand für die umgekehrte Videosuche wäre enorm. Es gibt kein einfaches Tool, mit dem man lediglich ein Video hochladen und passende Ergebnisse finden kann. Derzeit existiert keine Technologie, die eine umgekehrte Videosuche erfolgreich durchführen kann. ^{[ 37 ] [ 38 ]}

• Google Bilder und Google Lens ^{[ 39 ]}
• Bing
• Yandex Bilder

• Inhaltsbasierte Bildsuche
• Visuelle Suchmaschine
• Gesicht finden