Stoppwörter sind Wörter einer Stoppliste (auch Negativwörterbuch genannt ), die vor oder nach der Verarbeitung von natürlichsprachlichen Daten (z. B. Texten) herausgefiltert werden, weil sie als semantisch wenig wertvoll oder für die jeweilige Aufgabe irrelevant gelten. [ 1 ] Es gibt keine einheitliche Stoppwortliste, die von allen Werkzeugen der natürlichen Sprachverarbeitung (NLP) verwendet wird, [ 2 ] und auch keine allgemein anerkannten Regeln für die Identifizierung von Stoppwörtern. Tatsächlich verwenden nicht alle Werkzeuge überhaupt eine solche Liste. Daher kann jede beliebige Wortgruppe als Stoppwortliste für einen bestimmten Zweck gewählt werden. Der allgemeine Trend in [Information-Retrieval-]Systemen ging im Laufe der Zeit von der standardmäßigen Verwendung recht großer Stoppwortlisten (200–300 Begriffe) über sehr kleine Stoppwortlisten (7–12 Begriffe) bis hin zum vollständigen Verzicht auf Stoppwortlisten. [ 3 ]

Geschichte der Stoppwörter

Ein Vorgängerkonzept wurde bei der Erstellung einiger Konkordanzen verwendet . So enthielt beispielsweise die erste hebräische Konkordanz , Isaac Nathan ben Kalonymus ' Me'ir Nativ , eine einseitige Liste nicht indexierter Wörter mit nichtsubstantivischen Präpositionen und Konjunktionen, die den gängigen modernen Stoppwörtern ähneln. [ 4 ]

Hans Peter Luhn , einer der Pioniere des Information Retrieval , prägte den Begriff und verwendete das Konzept bei der Einführung seines automatischen Indexierungsverfahrens „ Key Word in Context“ . [ 5 ] Der Begriff „Stoppwort“, der in Luhns Präsentation von 1959 nicht vorkommt, sowie die verwandten Begriffe „Stoppwortliste“ und „Stoplist“ tauchen kurz darauf in der Fachliteratur auf. [ 6 ]

Obwohl man gemeinhin annimmt, dass Stoppwortlisten nur die häufigsten Wörter einer Sprache enthalten, war es C. J. Van Rijsbergen, der die erste standardisierte Liste vorschlug, die nicht auf Worthäufigkeitsdaten basierte. Die „Van-Liste“ umfasste 250 englische Wörter. Martin Porters in den 1980er-Jahren entwickeltes Programm zur Wortstammreduktion baute auf der Van-Liste auf, und die Porter-Liste wird heute in vielen Softwareanwendungen als Standard-Stoppwortliste verwendet.

1990 schlug Christopher Fox die erste allgemeine Stoppwortliste vor, die auf empirischen Worthäufigkeitsdaten aus dem Brown Corpus basiert :

Dieser Artikel beschreibt die Erstellung einer Stoppwortliste für allgemeine Texte auf Basis des Brown-Korpus mit 1.014.000 Wörtern aus einem breiten Spektrum englischsprachiger Literatur. Ausgangspunkt ist eine Liste von Wörtern, die mehr als 300 Mal im Brown-Korpus vorkommen. Aus dieser Liste von 278 Wörtern werden 32 aufgrund ihrer Bedeutung als potenzielle Indexbegriffe entfernt. Anschließend werden 26 Wörter hinzugefügt, da sie in bestimmten Literaturgattungen sehr häufig auftreten könnten. Schließlich werden 149 Wörter ergänzt, da der auf einem endlichen Automaten basierende Filter, in dem die Liste verwendet werden soll, diese nahezu ohne Aufwand herausfiltern kann. Das Endergebnis ist eine Liste von 421 Stoppwörtern, die die häufigsten und semantisch neutralen Wörter in der englischsprachigen Allgemeinliteratur möglichst effizient herausfiltern soll. [ 7 ]

In der SEO- Terminologie sind Stoppwörter die häufigsten Wörter, die viele Suchmaschinen früher vermieden haben, um Speicherplatz und Zeit bei der Verarbeitung großer Datenmengen während des Crawlings oder der Indexierung zu sparen .

Für einige Suchmaschinen zählen Stoppwörter zu den häufigsten kurzen Funktionswörtern , wie beispielsweise „der “, „ ist “ , „ bei “ , „welche“ und „ auf“ . In diesem Fall können Stoppwörter Probleme bei der Suche nach Phrasen verursachen, die sie enthalten, insbesondere in Namen wie „ The Who “, „ The The “ oder „ Take That “. Andere Suchmaschinen entfernen einige der häufigsten Wörter – darunter auch lexikalische Wörter wie „wollen“ – aus einer Suchanfrage, um die Leistung zu verbessern. [ 8 ]

In den letzten Jahren haben sich die SEO-Best Practices bezüglich Stoppwörtern parallel zu den Entwicklungen im Bereich des maschinellen Lernens und der natürlichen Sprachverarbeitung weiterentwickelt. Im Februar 2021 twitterte John Mueller, Webmaster Trends Analyst bei Google : „Ich würde mir wegen Stoppwörtern überhaupt keine Gedanken machen; schreiben Sie natürlich. Suchmaschinen analysieren viel, viel mehr als nur einzelne Wörter. ‚ Sein oder Nichtsein ‘ ist zwar eine Ansammlung von Stoppwörtern, aber Stoppwörter allein werden dem Text nicht gerecht.“ [ 9 ] [ 10 ]

Siehe auch

Referenzen

  1. ^ Rajaraman, A.; Ullman, JD (2011). „Data Mining“ (PDF) . Mining of Massive Datasets . S.  1–17 . doi : 10.1017/CBO9781139058452.002 . ISBN 9781139058452Die
  2. ^ Joel Nothman; Hanmin Qin; Roman Yurchak (2018). „Stop Word Lists in Free Open-source Software Packages“ . Proceedings of Workshop for NLP Open Source Software (NLP-OSS) : 7–12 . doi : 10.18653/V1/W18-2502 . Wikidata Q135104011 . 
  3. ^ Christopher D. Manning, Prabhakar Raghavan, Hinrich Schütze (2008). Einführung in die Informationsbeschaffung . Cambridge University Press. P. 27.{{cite book}}: CS1 Wartung: Mehrere Namen: Autorenliste ( Link )
  4. Weinberg , Bella Hass (2004). „Vorläufer wissenschaftlicher Indexierungsstrukturen im Bereich der Religion“ (PDF) . Zweite Konferenz zur Geschichte und zum Erbe wissenschaftlicher und technischer Informationssysteme : 126–134 . Archiviert vom Original (PDF) am 3. Januar 2016. Abgerufen am 17. Februar 2016 .
  5. ^ Luhn, HP (1959). „Keyword-in-Context Index for Technical Literature (KWIC Index)“. American Documentation . 11 (4). Yorktown Heights, NY: International Business Machines Corp.: 288–295 . doi : 10.1002/asi.5090110403 .
  6. Flood , Barbara J. (1999). „Historische Anmerkung: Der Beginn einer Stoppliste bei Biological Abstracts“. Journal of the American Society for Information Science . 50 (12): 1066. doi : 10.1002/(SICI)1097-4571(1999)50:12<1066::AID-ASI5>3.0.CO;2-A .
  7. ^ Fox, Christopher (1989-09-01). „Eine Stoppwortliste für allgemeine Texte“ . ACM SIGIR Forum . 24 ( 1–2 ): 19–21 . doi : 10.1145/378881.378888 . ISSN 0163-5840 . S2CID 20240000 .  
  8. ^ Stackoverflow : „Eine unserer wichtigsten Leistungsoptimierungen für die Abfrage „Ähnliche Fragen“ besteht darin, die 10.000 häufigsten englischen Wörter (ermittelt durch die Google-Suche) zu entfernen, bevor die Abfrage an die Volltextsuche von SQL Server 2008 gesendet wird. Es ist erstaunlich, wie wenig von den meisten Beiträgen übrig bleibt, nachdem man diese 10.000 Wörter entfernt hat. Dies hilft, die zurückgegebenen Ergebnisse einzugrenzen und zu verfeinern, wodurch die Abfrage deutlich beschleunigt wird.“
  9. ^ „Google: Hören Sie auf, sich Sorgen um Stoppwörter zu machen, schreiben Sie einfach natürlich . “ seroundtable.com . 16. Februar 2021. Abgerufen am 15. Juli 2022 .
  10. ^ John Mueller (6. Februar 2021). „John Mueller über Stoppwörter im Jahr 2021: „Ich würde mir wegen Stoppwörtern überhaupt keine Sorgen machen.“" . Twitter . Abgerufen am 15. Juli 2022 .
  • Volltext-Stoppwörter in MySQL
  • Englische Stoppwörter (CSV)
  • Stoppwörter Indonesien Abfrage PHP-Array
  • Deutsche Stoppwörter, deutsche Stoppwörter und -phrasen, eine weitere Liste deutscher Stoppwörter
  • Polnische Stoppwörter
  • Sammlung von Stoppwörtern in 29 Sprachen (Archiv)
  • Liste der Hindi-Stoppwörter.
  • Android TV