Suchmaschine (Informatik)

In der Informatik ist eine Suchmaschine ein Softwaresystem zur Informationssuche , das entwickelt wurde, um Informationen auf einem oder mehreren Computersystemen aufzufinden. Suchmaschinen ermitteln, durchsuchen, transformieren und speichern Informationen, um sie als Antwort auf Nutzeranfragen abzurufen und darzustellen. Die Suchergebnisse werden üblicherweise in einer Liste angezeigt und als Treffer bezeichnet . Die am weitesten verbreitete Art von Suchmaschine ist die Websuchmaschine , die im World Wide Web nach Informationen sucht .

Eine Suchmaschine besteht üblicherweise aus vier Komponenten: einer Suchoberfläche, einem Crawler (auch Spider oder Bot genannt), einem Indexer und einer Datenbank. Der Crawler durchsucht eine Dokumentensammlung, analysiert den Dokumenttext und speichert die Ergebnisse im Suchmaschinenindex. Online-Suchmaschinen speichern Bilder, Linkdaten und Metadaten zu den Dokumenten.

Suchmaschinen bieten eine Schnittstelle zu einer Gruppe von Elementen, die es Nutzern ermöglicht, Kriterien für ein bestimmtes Element festzulegen und die passenden Elemente von der Suchmaschine finden zu lassen. Diese Kriterien werden als Suchanfrage bezeichnet . Bei Textsuchmaschinen besteht die Suchanfrage typischerweise aus einer Reihe von Wörtern, die das gewünschte Konzept identifizieren , das in einem oder mehreren Dokumenten enthalten sein kann. ^{[ 1 ]} Es gibt verschiedene Arten der Suchanfragesyntax , die sich in ihrer Strenge unterscheiden. Auch die Namen der Suchmaschinen können sich von früheren Websites unterscheiden. Während einige Textsuchmaschinen die Eingabe von zwei oder drei durch Leerzeichen getrennten Wörtern erfordern , ermöglichen andere Suchmaschinen die Angabe ganzer Dokumente, Bilder, Töne und verschiedener Formen natürlicher Sprache . Einige Suchmaschinen optimieren Suchanfragen, um die Wahrscheinlichkeit qualitativ hochwertiger Ergebnisse durch einen Prozess namens Suchanfrageerweiterung zu erhöhen . Methoden zum Verständnis von Suchanfragen können als standardisierte Abfragesprache verwendet werden.

Die Liste der Elemente, die den Suchkriterien entsprechen, wird üblicherweise sortiert oder nach Relevanz geordnet. Die Sortierung nach Relevanz (von höchster zu niedrigster Relevanz) verkürzt die Suchzeit. Probabilistische Suchmaschinen ordnen Elemente anhand von Ähnlichkeitsmaßen ( zwischen jedem Element und der Suchanfrage, typischerweise auf einer Skala von 1 bis 0, wobei 1 die größte Ähnlichkeit bedeutet) und manchmal auch anhand von Popularität oder Autorität (siehe Bibliometrie ) oder nutzen Relevanz-Feedback . Boolesche Suchmaschinen liefern in der Regel nur exakt übereinstimmende Elemente unabhängig von der Reihenfolge. Der Begriff „Boolesche Suchmaschine“ kann sich jedoch auch einfach auf die Verwendung der Booleschen Syntax (Operatoren wie AND , OR , NOT und XOR ) im probabilistischen Kontext beziehen.

Um schnell eine Reihe passender, nach bestimmten Kriterien sortierter Elemente bereitzustellen, sammelt eine Suchmaschine üblicherweise vorab Metadaten über die betrachteten Elemente durch einen als Indexierung bezeichneten Prozess . Der Index benötigt in der Regel weniger Speicherplatz . Daher speichern manche Suchmaschinen nur die indexierten Informationen und nicht den vollständigen Inhalt jedes einzelnen Elements. Stattdessen bieten sie eine Möglichkeit, direkt auf der Suchergebnisseite zu den Elementen zu navigieren . Alternativ kann die Suchmaschine eine Kopie jedes Elements im Cache speichern , sodass Nutzer den Status des Elements zum Zeitpunkt der Indexierung einsehen können, oder für Archivierungszwecke, um wiederkehrende Prozesse effizienter und schneller auszuführen. ^{[ 2 ]}

Andere Suchmaschinen speichern keinen Index. Crawler (auch Spider-Suchmaschinen genannt, auch Echtzeit-Suchmaschinen genannt) erfassen und bewerten Suchergebnisse zum Zeitpunkt der Suchanfrage und berücksichtigen dabei dynamisch weitere Ergebnisse basierend auf dem Inhalt eines Starteintrags (auch Seed-URL oder Seed-URL bei Internet-Crawlern genannt). Metasuchmaschinen speichern weder einen Index noch einen Cache, sondern verwenden einfach den Index oder die Ergebnisse einer oder mehrerer anderer Suchmaschinen, um ein aggregiertes, endgültiges Ergebnis zu liefern.

Die Größe der Datenbanken, die bis Anfang der 2000er-Jahre ein wichtiges Marketingmerkmal war, wurde zunehmend durch die Relevanzbewertung verdrängt – also die Methoden, mit denen Suchmaschinen versuchen, die besten Ergebnisse zuerst anzuzeigen. Die Relevanzbewertung wurde um 1996 zu einem zentralen Thema , als deutlich wurde, dass die Überprüfung vollständiger Ergebnislisten unpraktisch war. Infolgedessen wurden die Algorithmen für die Relevanzbewertung kontinuierlich verbessert. Googles PageRank- Methode zur Sortierung der Ergebnisse hat die größte Aufmerksamkeit in den Medien erfahren, aber alle großen Suchmaschinen optimieren ihre Ranking-Methoden ständig, um die Reihenfolge der Ergebnisse zu verbessern. Seit 2006 sind Suchmaschinenplatzierungen wichtiger denn je, so sehr, dass sich eine ganze Branche entwickelt hat („ Suchmaschinenoptimierer “ oder „SEO“), die Webentwicklern hilft, ihr Suchmaschinenranking zu verbessern. Zudem hat sich eine ganze Reihe von Präzedenzfällen zu Themen entwickelt, die Suchmaschinenplatzierungen beeinflussen, wie beispielsweise die Verwendung von Marken in Metatags . Der Verkauf von Suchmaschinenplatzierungen durch einige Suchmaschinen hat auch Kontroversen unter Bibliothekaren und Verbraucherschützern ausgelöst. ^{[ 3 ]}

Die Suchmaschinenoptimierung für Nutzer wird kontinuierlich verbessert. Googles Einführung des Google Knowledge Graph hatte weitreichende Folgen für das Internet und könnte möglicherweise sogar den Traffic bestimmter Websites, wie beispielsweise Wikipedia, einschränken. Da Google Informationen abruft und auf seinen Seiten präsentiert, argumentieren einige, dass dies andere Websites negativ beeinflussen könnte. Bislang gab es jedoch keine größeren Bedenken. ^{[ 4 ]}

Suchmaschinen, die speziell für die Suche in Webseiten, Dokumenten und Bildern entwickelt wurden, erleichtern die Suche in einer riesigen, unstrukturierten Datenmenge. Sie folgen einem mehrstufigen Prozess: Zunächst durchsuchen sie den unendlichen Fundus an Seiten und Dokumenten, um relevante Informationen zu extrahieren. Anschließend indexieren sie diese Informationen (auch als Schlagwörter bezeichnet) in einer Art semistrukturierter Form (z. B. in einer Datenbank) und lösen schließlich die Nutzeranfragen aus, um möglichst relevante Ergebnisse und Links zu den extrahierten Dokumenten oder Seiten zu liefern.

Bei einer rein textbasierten Suche besteht der erste Schritt zur Klassifizierung von Webseiten darin, einen Indexeintrag zu finden, der sich explizit auf den Suchbegriff bezieht. Früher begannen Suchmaschinen mit einer kleinen Liste von URLs als sogenannter Seed-Liste, luden die Inhalte herunter und analysierten die Links auf diesen Seiten nach relevanten Informationen, woraus sie anschließend neue Links generierten. Dieser Prozess war stark zyklisch und wurde so lange fortgesetzt, bis genügend Seiten für die Suche gefunden waren. Heutzutage wird anstelle der zufälligen Suche anhand einer Seed-Liste ein kontinuierliches Crawling-Verfahren eingesetzt. Das Crawling-Verfahren ist eine Erweiterung des zuvor beschriebenen Suchverfahrens.

Die meisten Suchmaschinen nutzen ausgeklügelte Algorithmen, um zu entscheiden, wann eine bestimmte Seite erneut aufgerufen wird, um ihre Relevanz hervorzuheben. Diese Algorithmen reichen von konstanten Besuchsintervallen mit höherer Priorität für Seiten, die sich häufiger ändern, bis hin zu adaptiven Besuchsintervallen, die auf verschiedenen Kriterien wie Änderungshäufigkeit, Popularität und der allgemeinen Qualität der Website basieren. Auch die Geschwindigkeit des Webservers sowie Ressourcenbeschränkungen wie Hardwarekapazität oder Bandbreite spielen eine Rolle.

Die von Webcrawlern gefundenen Seiten werden oft verteilt und einem anderen Computer zugeführt, der eine Karte der gefundenen Ressourcen erstellt. Diese Datenmenge ähnelt einem Graphen, in dem die verschiedenen Seiten als kleine Knoten dargestellt und durch Links miteinander verbunden sind. Die Datenflut wird in mehreren Datenstrukturen gespeichert, die einen schnellen Zugriff durch bestimmte Algorithmen ermöglichen. Diese Algorithmen berechnen die Popularität von Webseiten anhand der Anzahl der Links, die auf eine bestimmte Webseite verweisen. So können Nutzer beispielsweise auf zahlreiche Ressourcen zur Diagnose von Psychosen zugreifen. Ein anderes Beispiel wäre die Zugänglichkeit bzw. das Ranking von Webseiten mit Informationen über Mohamed Morsi im Vergleich zu den besten Sehenswürdigkeiten in Kairo, nachdem man einfach „Ägypten“ als Suchbegriff eingegeben hat. Ein solcher Algorithmus, PageRank , entwickelt von den Google-Gründern Larry Page und Sergey Brin, ist bekannt und hat viel Aufmerksamkeit erregt, da er die Wiederholung und Eintönigkeit von Websuchen aufzeigt, die häufig von Studierenden verursacht werden, die nicht wissen, wie man effektiv mit Google recherchiert.

Die Idee, mithilfe von Linkanalysen einen Popularitätsrang zu berechnen, ist älter als PageRank. Im Oktober 2014 bestätigte Googles John Mueller jedoch, dass Google PageRank zukünftig nicht mehr aktualisieren wird. Andere Varianten desselben Konzepts werden bereits genutzt – beispielsweise wenden Grundschüler ähnliche Berechnungen bei der Auswahl von Fußballmannschaften an. Diese Konzepte lassen sich in drei Hauptkategorien einteilen: den Rang einzelner Seiten und die Art des Webseiteninhalts. Suchmaschinen unterscheiden häufig zwischen internen und externen Links, da Webseitenbetreiber gerne und unmissverständlich für sich werben. Linkmap-Datenstrukturen speichern typischerweise auch den in den Links eingebetteten Ankertext, da dieser oft eine sehr gute Zusammenfassung des Webseiteninhalts liefert.

Die Suche nach textbasierten Inhalten in Datenbanken birgt einige besondere Herausforderungen, die die Entwicklung spezialisierter Suchmaschinen begünstigen. Datenbanken können bei komplexen Anfragen (mit mehreren logischen Argumenten oder Stringvergleichen) langsam sein. Sie ermöglichen pseudologische Anfragen, die bei Volltextsuchen nicht unterstützt werden. Da die Daten bereits strukturiert sind, ist kein Crawling erforderlich. Dennoch ist es oft notwendig, die Daten in einer kompakteren Form zu indizieren, um eine schnellere Suche zu ermöglichen.

Manchmal enthalten die Suchdaten sowohl Datenbankinhalte als auch Webseiten oder Dokumente. Suchmaschinentechnologie hat sich so entwickelt, dass sie beiden Anforderungstypen gerecht wird. Die meisten Suchmaschinen, die beides kombinieren, sind große Websuchmaschinen wie Google. Sie durchsuchen sowohl strukturierte als auch unstrukturierte Datenquellen . Nehmen wir zum Beispiel das Wort „Ball“. Allein auf Wikipedia findet man dazu über 40 Varianten. Meinten Sie einen Ball im Sinne von Ball, Tanz oder Gesellschaft? Einen Fußball? Den Fußball? Seiten und Dokumente werden gecrawlt und in einem separaten Index indexiert. Auch Datenbanken werden aus verschiedenen Quellen indexiert. Die Suchergebnisse werden dann für die Nutzer generiert, indem diese verschiedenen Indizes parallel abgefragt und die Ergebnisse anhand von Regeln kombiniert werden.

Das Konzept von Hypertext und Speichererweiterung geht auf einen Artikel von Vannevar Bush mit dem Titel „ As We May Think “ zurück, der im Juli 1945 in The Atlantic Monthly erschien . Darin rief Bush Wissenschaftler zur Zusammenarbeit auf, um einen Wissensbestand für die gesamte Menschheit zu schaffen. Er schlug die Idee eines praktisch unbegrenzten, schnellen, zuverlässigen, erweiterbaren und assoziativen Speichersystems vor. Dieses System nannte er Memex . ^{[ 5 ]}

Bush betrachtete die Idee der „assoziativen Indexierung“ als seinen wichtigsten konzeptionellen Beitrag. Wie er erklärte, handelte es sich dabei um „eine Vorkehrung, durch die jedes Element nach Belieben sofort und automatisch ein anderes Element auswählen kann. Dies ist das wesentliche Merkmal des Memex. Der Prozess der Verknüpfung zweier Elemente ist das Wichtigste. ^{“ [ 6 ]}

Alle im Memex verwendeten Dokumente lägen als Mikrofilmkopien vor, die entweder als solche erfasst oder, im Falle von persönlichen Daten, vom Gerät selbst in Mikrofilm umgewandelt würden. Memex würde zudem neue Suchtechniken einsetzen, die auf einer neuartigen assoziativen Indexierung basieren. Deren Grundidee besteht darin, dass jedes Element automatisch und unmittelbar ein anderes auswählt, um so persönliche „Pfade“ durch verknüpfte Dokumente zu erstellen. Die neuen Verfahren, von denen Bush erwartete, dass sie die Speicherung und den Abruf von Informationen erleichtern würden, würden zur Entwicklung völlig neuer Formen der Enzyklopädie führen.

Der wichtigste Mechanismus, der von Bush entwickelt wurde, ist die assoziative Spur. Sie ermöglicht es, aus einer beliebigen Folge von Mikrofilmbildern eine neue lineare Sequenz zu erstellen, indem – wie eben beschrieben – eine Kette von Verknüpfungen erzeugt wird, ergänzt durch persönliche Kommentare und Nebenpfade.

1965 beteiligte sich Bush am MIT-Projekt INTREX, das die Entwicklung von Technologien zur Mechanisierung der Informationsverarbeitung für Bibliothekszwecke zum Ziel hatte. In seinem 1967 erschienenen Essay „Memex Revisited“ wies er darauf hin, dass die Entwicklung des Digitalrechners, des Transistors, des Videos und ähnlicher Geräte die Machbarkeit einer solchen Mechanisierung zwar erhöht habe, die Kosten deren Umsetzung jedoch verzögern würden. ^{[ 7 ]}

Gerard Salton , der am 28. August 1995 starb, gilt als Vater der modernen Suchtechnologie. Seine Teams in Harvard und Cornell entwickelten das Informationsabfragesystem SMART. Saltons Magic Automatic Retriever of Text (MART) beinhaltete wichtige Konzepte wie das Vektorraummodell , die inverse Dokumenthäufigkeit (IDF), die Termhäufigkeit (TF), Termdiskriminierungswerte und Relevanzrückkopplungsmechanismen.

Er verfasste ein 56-seitiges Buch mit dem Titel „A Theory of Indexing“ , in dem er viele seiner Tests erläuterte, auf denen die Suche noch heute größtenteils basiert.

1987 wurde ein Artikel veröffentlicht, der die Entwicklung einer Zeichenkettensuchmaschine (SSE) für die schnelle Textsuche auf einem 1,6-µm-CMOS-Halbleiterchip mit Doppelmetallisierung und 217.600 Transistoren auf einer Chipfläche von 8,62 × 12,76 mm beschrieb. Die SSE nutzte eine neuartige Architektur zur Zeichenkettensuche, die einen 512-stufigen endlichen Automaten (FSA) mit einem inhaltsadressierbaren Speicher (CAM) kombinierte, um einen Vergleich von etwa 80 Millionen Zeichenketten pro Sekunde zu erreichen. Die CAM-Zelle bestand aus vier herkömmlichen statischen RAM-Zellen (SRAM) und einer Lese-/Schreibschaltung. Der gleichzeitige Vergleich von 64 gespeicherten Zeichenketten variabler Länge wurde in 50 ns bei einem Eingabetextstrom von 10 Millionen Zeichen/s realisiert. Dies ermöglichte eine hohe Leistungsfähigkeit trotz einzelner Zeichenfehler in Form von Zeichencodes. Darüber hinaus ermöglichte der Chip die Suche nach Zeichenketten ohne Anker und die Suche nach Zeichenketten variabler Länge mit dem Argument „don’t care“ (VLDC). ^{[ 8 ]}

• Datenbank-Suchmaschine
• Desktop-Suche
• Unternehmenssuche
• Verbundsuche
• Menschliche Suchmaschine
• Metasuchmaschine
• Mehrfachsuche
• Suchaggregator
• Websuchmaschine

• Audio-Suchmaschine
• Volltextsuche
• Bildersuche
• Videosuchmaschine

• Inkrementelle Suche
• Sofortige Antwort
• Semantische Suche
• Selektionsbasierte Suche
• Sprachsuche

• Bibliografische Datenbank
• Unternehmenssuche
• Recherche medizinischer Literatur
• Vertikale Suche