Text Mining

Text Mining , auch Text Data Mining ( TDM ) oder Textanalyse genannt, ist der Prozess der Gewinnung hochwertiger Informationen aus Texten . Es umfasst die computergestützte Entdeckung neuer, bisher unbekannter Informationen durch die automatische Extraktion von Informationen aus verschiedenen schriftlichen Quellen. ^{[ 1 ]} Zu diesen Quellen zählen beispielsweise Websites , Bücher , E-Mails , Rezensionen und Artikel. ^{[ 2 ]} Hochwertige Informationen werden typischerweise durch die Erkennung von Mustern und Trends mithilfe von Methoden wie dem statistischen Musterlernen gewonnen . Laut Hotho et al. (2005) gibt es drei Perspektiven des Text Mining: Informationsextraktion , Data Mining und Wissensentdeckung in Datenbanken (KDD). ^{[ 3 ]} Text Mining beinhaltet üblicherweise die Strukturierung des Eingabetextes (meist Parsing , Hinzufügen und Entfernen linguistischer Merkmale sowie die anschließende Speicherung in einer Datenbank ), die Ableitung von Mustern in den strukturierten Daten und schließlich die Auswertung und Interpretation der Ergebnisse. „Hohe Qualität“ im Text Mining bezieht sich üblicherweise auf eine Kombination aus Relevanz , Neuheit und Interesse. Typische Text Mining-Aufgaben umfassen Textkategorisierung , Textclustering , Konzept-/Entitätsextraktion, Erstellung granularer Taxonomien, Stimmungsanalyse , Dokumentenzusammenfassung und Entity-Relation-Modellierung ( d. h . das Erlernen von Beziehungen zwischen benannten Entitäten ).

Die Textanalyse umfasst Informationsabruf , lexikalische Analyse zur Untersuchung von Worthäufigkeitsverteilungen, Mustererkennung , Tagging / Annotation , Informationsextraktion , Data-Mining- Techniken einschließlich Link- und Assoziationsanalyse, Visualisierung und prädiktive Analysen . Das übergeordnete Ziel ist im Wesentlichen die Umwandlung von Text in analysierbare Daten durch Anwendung von Methoden der natürlichen Sprachverarbeitung (NLP), verschiedenen Algorithmen und Analyseverfahren. Ein wichtiger Schritt in diesem Prozess ist die Interpretation der gewonnenen Informationen.

Eine typische Anwendung besteht darin, eine Menge von Dokumenten in natürlicher Sprache zu scannen und diese entweder für prädiktive Klassifizierungszwecke zu modellieren oder eine Datenbank bzw. einen Suchindex mit den extrahierten Informationen zu füllen. Das Dokument ist das grundlegende Element beim Text Mining. Hier definieren wir ein Dokument als eine Einheit textueller Daten, die üblicherweise in vielen Arten von Sammlungen vorkommt. ^{[ 4 ]}

Textanalyse beschreibt eine Reihe linguistischer , statistischer und maschineller Lernverfahren, die den Informationsgehalt von Textquellen für Business Intelligence , explorative Datenanalyse , Forschung oder Untersuchung modellieren und strukturieren. ^{[ 5 ]} Der Begriff ist weitgehend synonym mit Text Mining; Ronen Feldman modifizierte 2004 eine Beschreibung von „Text Mining“ ^{[ 6 ]} aus dem Jahr 2000, um „Textanalyse“ zu beschreiben. ^{[ 7 ] Letzterer Begriff wird heute häufiger im Geschäftsumfeld verwendet, während „Text Mining“ in einigen der frühesten Anwendungsbereiche, die bis in die 1980er-Jahre zurückreichen, [ 8 ]} insbesondere in der lebenswissenschaftlichen Forschung und im Bereich der staatlichen Nachrichtendienste Anwendung findet .

Der Begriff Textanalyse beschreibt auch die Anwendung von Textanalyse zur Lösung von Geschäftsproblemen, sei es eigenständig oder in Verbindung mit der Abfrage und Analyse von erhobenen numerischen Daten. Es ist eine Binsenweisheit, dass 80 % der geschäftsrelevanten Informationen in unstrukturierter Form, vorwiegend als Text, vorliegen. ^{[ 9 ]} Diese Techniken und Prozesse erschließen und präsentieren Wissen – Fakten, Geschäftsregeln und Zusammenhänge –, das ansonsten in Textform vorliegt und für die automatisierte Verarbeitung unzugänglich wäre.

Teilaufgaben – Bestandteile eines umfassenderen Textanalyseprojekts – umfassen typischerweise:

• Dimensionsreduktion ist eine wichtige Technik zur Datenvorverarbeitung. Sie dient dazu, die Wortstämme von Wörtern zu identifizieren und die Größe der Textdaten zu reduzieren.
• Die Informationssuche oder die Identifizierung eines Korpus ist ein vorbereitender Schritt: das Sammeln oder Identifizieren einer Menge von Textmaterialien im Web oder in einem Dateisystem , einer Datenbank oder einem Content -Corpus-Manager zur Analyse.
• Obwohl einige Textanalysesysteme ausschließlich fortgeschrittene statistische Methoden anwenden, nutzen viele andere eine umfassendere Verarbeitung natürlicher Sprache , wie z. B. Wortartenbestimmung , syntaktische Analyse und andere Arten der linguistischen Analyse. ^{[ 10 ]}
• Named Entity Recognition bezeichnet die Verwendung von Ortsverzeichnissen oder statistischen Verfahren zur Identifizierung benannter Textmerkmale: Personen, Organisationen, Ortsnamen, Börsenkürzel, bestimmte Abkürzungen usw.
• Zur Klärung – also unter Berücksichtigung des Kontextes – kann beispielsweise erforderlich sein, um zu entscheiden, ob sich „Ford“ auf einen ehemaligen US-Präsidenten, einen Fahrzeughersteller, einen Filmstar, eine Flussüberquerung oder eine andere Entität bezieht. ^{[ 11 ]}
• Erkennung von musteridentifizierten Entitäten: Merkmale wie Telefonnummern, E-Mail-Adressen, Mengen (mit Einheiten) können mittels regulärer Ausdrücke oder anderer Musterübereinstimmungen erkannt werden .
• Dokumentenclustering : Identifizierung von Mengen ähnlicher Textdokumente. ^{[ 12 ]}
• Koreferenzauflösung : Identifizierung von Nominalphrasen und anderen Begriffen, die sich auf dasselbe Objekt beziehen.
• Extraktion von Beziehungen, Fakten und Ereignissen: Identifizierung von Zusammenhängen zwischen Entitäten und anderen Informationen in Texten.
• Sentimentanalyse : Die Analyse subjektiver Inhalte und die Gewinnung von Informationen über Einstellungen: Gefühle, Meinungen, Stimmungen und Emotionen. Dies geschieht auf der Ebene von Entitäten, Konzepten oder Themen und zielt darauf ab, Meinungsträger und -objekte zu unterscheiden. ^{[ 13 ]}
• Quantitative Textanalyse: eine Reihe von Techniken aus den Sozialwissenschaften, bei denen entweder ein menschlicher Gutachter oder ein Computer semantische oder grammatikalische Beziehungen zwischen Wörtern extrahiert, um die Bedeutung oder stilistische Muster eines in der Regel informellen persönlichen Textes zum Zweck der psychologischen Profilerstellung usw. zu ermitteln. ^{[ 14 ]}
• Die Vorverarbeitung umfasst üblicherweise Aufgaben wie Tokenisierung, Filterung und Stemming.

Text-Mining-Technologien finden heute breite Anwendung in Regierung, Forschung und Wirtschaft. Diese Gruppen nutzen Text Mining beispielsweise für die Dokumentenverwaltung und die Suche nach relevanten Dokumenten. Juristen setzen Text Mining etwa für die elektronische Beweissicherung (E-Discovery) ein . Regierungen und Militärs nutzen Text Mining für die nationale Sicherheit und im Nachrichtendienst. Wissenschaftler integrieren Text-Mining-Ansätze, um große Textmengen zu strukturieren (d. h. das Problem unstrukturierter Daten zu lösen ), um in Texten vermittelte Ideen zu analysieren (z. B. Stimmungsanalyse in sozialen Medien ^{[ 15 ] [ 16 ] [ 17 ]} ) und um wissenschaftliche Erkenntnisse in Bereichen wie den Lebenswissenschaften und der Bioinformatik zu fördern. In der Wirtschaft werden Anwendungen unter anderem für Wettbewerbsanalysen und die automatisierte Anzeigenschaltung eingesetzt .

Viele Text-Mining-Softwarepakete werden für Sicherheitsanwendungen vermarktet , insbesondere für die Überwachung und Analyse von Online-Klartextquellen wie Internetnachrichten , Blogs usw. für Zwecke der nationalen Sicherheit . ^{[ 18 ]} Sie befasst sich auch mit der Erforschung der Textverschlüsselung und -entschlüsselung .

Eine Reihe von Text-Mining-Anwendungen in der biomedizinischen Literatur wurde bereits beschrieben ^{[ 20 ] ,} darunter computergestützte Ansätze zur Unterstützung von Studien zum Protein-Docking ^{[ 21 ]} , ^zu Proteininteraktionen ^{[ 22} , ^{23 ]} und zu Protein-Krankheits-Assoziationen ^{[ 24 ]} . Darüber hinaus kann Text Mining mit großen Patientendatensätzen im klinischen Bereich, Datensätzen mit demografischen Informationen aus Bevölkerungsstudien und Berichten über unerwünschte Ereignisse klinische Studien und die Präzisionsmedizin fördern. Text-Mining-Algorithmen ermöglichen die Stratifizierung und Indexierung spezifischer klinischer Ereignisse in großen Patientendatensätzen zu Symptomen, Nebenwirkungen und Komorbiditäten aus elektronischen Patientenakten, Ereignisberichten und Berichten über spezifische diagnostische Tests ^{[ 25 ]} . Eine Online-Text-Mining-Anwendung in der biomedizinischen Literatur ist PubGene , eine öffentlich zugängliche Suchmaschine , die biomedizinisches Text Mining mit Netzwerkvisualisierung kombiniert ^{[ 26 , 27 ] .} GoPubMed ist eine wissensbasierte Suchmaschine für biomedizinische Texte. Text Mining-Techniken ermöglichen es uns auch, unbekanntes Wissen aus unstrukturierten Dokumenten im klinischen Bereich zu extrahieren ^{[ 28 ].}

Text-Mining-Methoden und -Software werden von großen Unternehmen wie IBM und Microsoft erforscht und entwickelt, um die Mining- und Analyseprozesse weiter zu automatisieren. Auch verschiedene Unternehmen im Bereich Suche und Indexierung arbeiten daran, ihre Ergebnisse zu verbessern. Im öffentlichen Sektor konzentrieren sich die Bemühungen auf die Entwicklung von Software zur Verfolgung und Überwachung terroristischer Aktivitäten . ^{[ 29 ]} Für Studienzwecke ist die Software Weka eine der beliebtesten Optionen in der Wissenschaft und eignet sich hervorragend als Einstieg für Anfänger. Python-Programmierern steht mit NLTK ein ausgezeichnetes Toolkit für allgemeinere Zwecke zur Verfügung. Fortgeschrittene Programmierer können die Gensim- Bibliothek nutzen, die sich auf wortvektorbasierte Textrepräsentationen spezialisiert hat.

Text Mining wird von großen Medienunternehmen wie der Tribune Company eingesetzt , um Informationen zu strukturieren und Lesern ein optimiertes Sucherlebnis zu bieten. Dies wiederum erhöht die Verweildauer auf der Website und steigert die Einnahmen. Darüber hinaus profitieren Redakteure im Backend davon, Nachrichten plattformübergreifend teilen, verknüpfen und bündeln zu können, wodurch sich die Monetarisierungsmöglichkeiten für Inhalte deutlich erweitern.

Textanalyse findet Anwendung in der Wirtschaft, insbesondere im Marketing, beispielsweise im Kundenbeziehungsmanagement (CRM ). ^{[ 30 ]} Coussement und Van den Poel (2008) ^{[ 31 ] [ 32 ]} nutzen sie zur Verbesserung von Modellen zur Vorhersage von Kundenabwanderung ( Customer Churn ). ^{[ 31 ]} Auch zur Prognose von Aktienrenditen wird Text Mining eingesetzt. ^{[ 33 ]}

Die Stimmungsanalyse kann die Bewertung von Produkten wie Filmen, Büchern oder Hotelrezensionen umfassen, um die positive Bewertung des Produkts einzuschätzen. ^{[ 34 ]} Eine solche Analyse kann einen annotierten Datensatz oder die Kennzeichnung der Affektivität ^von Wörtern erfordern. Ressourcen zur Affektivität von Wörtern und Konzepten wurden für WordNet ^{[ 35 ]} bzw. ConceptNet [ ^{36 ]} erstellt .

Im verwandten Bereich des affektiven Computings wird Text zur Erkennung von Emotionen eingesetzt. ^{[ 37 ]} Textbasierte Ansätze des affektiven Computings wurden auf verschiedene Korpora angewendet, darunter Schülerbewertungen, Kindergeschichten und Nachrichtenartikel.

Das Thema Text Mining ist für Verlage mit großen Datenbanken , deren Informationen indexiert werden müssen, von großer Bedeutung . Dies gilt insbesondere für wissenschaftliche Disziplinen, in denen Texte häufig hochspezifische Informationen enthalten. Daher wurden Initiativen wie der Vorschlag von Nature für eine offene Text Mining-Schnittstelle (OTMI) und die gemeinsame Dokumententypdefinition (DTD) der National Institutes of Health für Zeitschriftenveröffentlichungen ins Leben gerufen . Diese Initiativen liefern Maschinen semantische Hinweise, um spezifische Anfragen im Text zu beantworten, ohne die Zugangsbarrieren der Verlage für die Öffentlichkeit zu verringern.

Auch akademische Einrichtungen beteiligen sich an der Text-Mining-Initiative:

• Das Nationale Zentrum für Text Mining (NaCTeM) ist das weltweit erste öffentlich finanzierte Zentrum für Text Mining. NaCTeM wird von der Universität Manchester ^{[ 38 ]} in enger Zusammenarbeit mit dem Tsujii-Labor ^{[ 39 ]} der Universität Tokio ^{[ 40 ]} betrieben . NaCTeM bietet der akademischen Gemeinschaft maßgeschneiderte Werkzeuge und Forschungseinrichtungen sowie Beratung. Finanziert wird es vom Joint Information Systems Committee (JISC) und zwei britischen Forschungsräten ( EPSRC & BBSRC ). Ursprünglich auf Text Mining in den Biowissenschaften und der Biomedizin ausgerichtet , hat sich die Forschung inzwischen auf die Sozialwissenschaften ausgeweitet .
• In den Vereinigten Staaten entwickelt die School of Information der University of California, Berkeley, ein Programm namens BioText, um Biologieforscher bei der Textanalyse zu unterstützen.
• Das Text Analysis Portal for Research (TAPoR), das derzeit an der Universität von Alberta angesiedelt ist , ist ein wissenschaftliches Projekt zur Katalogisierung von Textanalyseanwendungen und zur Schaffung eines Zugangs für Forscher, die neu in dieser Praxis sind.

Zur Unterstützung der Informationsrecherche in wissenschaftlicher Literatur wurden computergestützte Methoden entwickelt. Zu den veröffentlichten Ansätzen gehören Methoden zur Suche ^{[ 41 ]} , zur Bestimmung der Neuheit ^{[ 42 ]} und zur Klärung von Homonymen ^{[ 43 ]} in technischen Berichten.

Die automatische Analyse umfangreicher Textkorpora ermöglicht es Wissenschaftlern, Millionen von Dokumenten in verschiedenen Sprachen mit minimalem manuellem Aufwand zu analysieren. Zu den wichtigsten Basistechnologien zählen Parsing, maschinelle Übersetzung , Themenkategorisierung und maschinelles Lernen.

Die automatische Analyse von Textkorpora ermöglicht die Extraktion von Akteuren und ihren Beziehungsnetzwerken in großem Umfang und wandelt Textdaten in Netzwerkdaten um. Die resultierenden Netzwerke, die Tausende von Knoten enthalten können, werden anschließend mithilfe von Methoden der Netzwerktheorie analysiert, um die wichtigsten Akteure, die wichtigsten Gemeinschaften oder Parteien sowie allgemeine Eigenschaften wie Robustheit oder strukturelle Stabilität des Gesamtnetzwerks oder die Zentralität bestimmter Knoten zu identifizieren. ^{[ 45 ]} Dies automatisiert den Ansatz der quantitativen Narrationsanalyse, ^{[ 46 ]} bei dem Subjekt-Verb-Objekt- Triplets mit Akteurpaaren identifiziert werden, die durch eine Handlung verbunden sind, oder mit Akteur-Objekt-Paaren. ^{[ 44 ]}

Die Inhaltsanalyse ist seit Langem ein fester Bestandteil der Sozial- und Medienwissenschaften. Ihre Automatisierung hat eine „ Big-Data “-Revolution in diesem Bereich ermöglicht, die sich in Studien zu Social-Media- und Zeitungsinhalten mit Millionen von Nachrichtenartikeln widerspiegelt. Mithilfe von Text-Mining-Methoden wurden Geschlechterverzerrungen , Lesbarkeit , Inhaltsähnlichkeit, Leserpräferenzen und sogar Stimmungen anhand von Millionen von Dokumenten analysiert. ^{[ 47 ] [ 48 ] [ 49 ] [ 50 ] [ 51 ]} Die Analyse von Lesbarkeit, Geschlechterverzerrungen und Themenverzerrungen wurde von Flaounas et al. ^{[ 52 ]} demonstriert . Sie zeigten, wie unterschiedliche Themen unterschiedliche Geschlechterverzerrungen und Lesbarkeitsgrade aufweisen; zudem wurde die Möglichkeit aufgezeigt, Stimmungsmuster in einer großen Bevölkerungsgruppe durch die Analyse von Twitter-Inhalten zu erkennen. ^{[ 53 ] [ 54 ]}

Text-Mining-Computerprogramme sind von vielen kommerziellen und Open-Source- Unternehmen und -Quellen erhältlich.

Nach europäischem Urheber- und Datenbankrecht ist das Mining urheberrechtlich geschützter Werke (z. B. durch Web-Mining ) ohne Zustimmung des Urhebers gemäß Artikel 3 und 4 der Richtlinie 2019/2009 über das Urheberrecht im digitalen Binnenmarkt zulässig . Eine spezifische Ausnahme für wissenschaftliche Forschungszwecke ist in Artikel 3 beschrieben, während die allgemeinere Ausnahme in Artikel 4 nur dann gilt, wenn der Urheber nicht widersprochen hat. ^{[ 55 ]}

Die Europäische Kommission förderte 2013 unter dem Titel „Lizenzen für Europa“ einen Dialog zwischen Interessengruppen zum Thema Text- und Data-Mining . ^{[ 56 ]} Da der Fokus bei der Lösung dieses Rechtsproblems auf Lizenzen und nicht auf Einschränkungen und Ausnahmen des Urheberrechts lag, verließen Vertreter von Universitäten, Forschungseinrichtungen, Bibliotheken, zivilgesellschaftlichen Gruppen und Open-Access- Verlagen den Dialog im Mai 2013. ^{[ 57 ]}

Das US-amerikanische Urheberrecht , insbesondere seine Bestimmungen zur fairen Nutzung , führt dazu, dass Text Mining in den USA sowie in anderen Ländern mit ähnlicher Rechtsprechung wie Israel, Taiwan und Südkorea als legal gilt. Da Text Mining transformativ ist, also das Originalwerk nicht ersetzt, wird es im Rahmen der fairen Nutzung als rechtmäßig angesehen. Beispielsweise entschied der zuständige Richter im Vergleich zu Google Books , dass Googles Digitalisierungsprojekt urheberrechtlich geschützter Bücher rechtmäßig war, unter anderem aufgrund der transformativen Nutzungen, die das Projekt aufwies – darunter Text- und Data Mining. ^{[ 58 ]}

Das australische Urheberrecht sieht im Copyright Act 1968 keine Ausnahme für Text- oder Data-Mining vor . Die Australian Law Reform Commission hat festgestellt, dass die Ausnahme für „Forschung und Studium“ im Rahmen des Fair Use wahrscheinlich auch nicht auf ein solches Thema anwendbar ist, da es über die Anforderung eines „angemessenen Teils“ hinausginge. ^{[ 59 ]}

Im Jahr 2014 änderte die britische Regierung auf Empfehlung des Hargreaves-Berichts das Urheberrecht ^{[ 60 ]} , um Text Mining als Einschränkung und Ausnahme zuzulassen. Großbritannien war nach Japan , das 2009 eine spezifische Ausnahme für Text Mining eingeführt hatte , das zweite Land weltweit, das diesen Schritt unternahm. Aufgrund der Bestimmungen der Richtlinie über die Informationsgesellschaft (2001) ist Text Mining im Vereinigten Königreich jedoch nur für nichtkommerzielle Zwecke zulässig. Das britische Urheberrecht lässt keine vertragliche Ausnahme von dieser Bestimmung zu.

Bis vor Kurzem nutzten Websites meist textbasierte Suchfunktionen, die lediglich Dokumente mit bestimmten, vom Nutzer definierten Wörtern oder Phrasen fanden. Dank des semantischen Webs kann Text Mining heute Inhalte anhand von Bedeutung und Kontext (und nicht nur anhand einzelner Wörter) finden. Darüber hinaus lassen sich mit Text-Mining-Software umfangreiche Informationsdossiers über bestimmte Personen und Ereignisse erstellen. So können beispielsweise große Datensätze auf Basis von Daten aus Nachrichtenberichten erstellt werden, um die Analyse sozialer Netzwerke oder die Spionageabwehr zu erleichtern . Die Text-Mining-Software kann somit ähnlich wie ein Geheimdienstanalyst oder Bibliothekar agieren, wenn auch mit einem begrenzteren Analyseumfang. Text Mining wird auch in einigen E-Mail -Spamfiltern eingesetzt , um die Merkmale von Nachrichten zu bestimmen, die wahrscheinlich Werbung oder andere unerwünschte Inhalte enthalten. Darüber hinaus spielt Text Mining eine wichtige Rolle bei der Bestimmung der Stimmung an den Finanzmärkten .

• Ananiadou, S. und McNaught, J. (Hrsg.) (2006). Text Mining für Biologie und Biomedizin . Artech House Books. ISBN 978-1-58053-984-5
• Bilisoly, R. (2008). Praktisches Text Mining mit Perl . New York: John Wiley & Sons. ISBN 978-0-470-17643-6
• Feldman, R. und Sanger, J. (2006). The Text Mining Handbook . New York: Cambridge University Press. ISBN 978-0-521-83657-9
• Hotho, A., Nürnberger, A. und Paaß, G. (2005). „Ein kurzer Überblick über Text Mining“. In: Ldv Forum, Bd. 20(1), S. 19–62.
• Indurkhya, N. und Damerau, F. (2010). Handbuch der Verarbeitung natürlicher Sprache , 2. Auflage. Boca Raton, FL: CRC Press. ISBN 978-1-4200-8592-1
• Kao, A., und Poteet, S. (Hrsg.). Verarbeitung natürlicher Sprache und Text Mining . Springer. ISBN 1-84628-175-X
• Konchady, M. Text Mining Application Programming (Programming Series) . Charles River Media. ISBN 1-58450-460-9
• Manning, C. und Schütze, H. (1999). Grundlagen der statistischen Verarbeitung natürlicher Sprache . Cambridge, MA: MIT Press. ISBN 978-0-262-13360-9
• Miner, G., Elder, J., Hill, T., Nisbet, R., Delen, D. und Fast, A. (2012). Praktisches Text Mining und statistische Analyse für Anwendungen mit unstrukturierten Textdaten . Elsevier Academic Press. ISBN 978-0-12-386979-1
• McKnight, W. (2005). „Aufbau von Business Intelligence: Text Data Mining in der Business Intelligence“. DM Review , 21–22.
• Srivastava, A., und Sahami, M. (2009). Text Mining: Klassifizierung, Clustering und Anwendungen . Boca Raton, FL: CRC Press. ISBN 978-1-4200-5940-3
• Zanasi, A. (Hrsg.) (2007). Text Mining und seine Anwendungen in den Bereichen Intelligence, CRM und Wissensmanagement . WIT Press. ISBN 978-1-84564-131-3

• Marti Hearst: Was ist Text Mining? (Oktober 2003)
• Automatische Inhaltsextraktion, Linguistic Data Consortium , archiviert am 25.09.2013 in der Wayback Machine
• Automatische Inhaltsextraktion, NIST