Textnormalisierung ist der Prozess, Text in eine einheitliche, kanonische Form zu überführen , die er zuvor möglicherweise nicht besaß. Die Normalisierung von Text vor dem Speichern oder Verarbeiten ermöglicht die Trennung von Zuständigkeiten , da die Konsistenz der Eingabe vor der Verarbeitung gewährleistet ist. Für die Textnormalisierung muss bekannt sein, um welche Art von Text es sich handelt und wie er anschließend verarbeitet werden soll; es gibt kein universelles Normalisierungsverfahren. [ 1 ]

Anwendungen

Die Textnormalisierung wird häufig bei der Umwandlung von Text in Sprache verwendet . Zahlen , Datumsangaben , Akronyme und Abkürzungen sind nicht standardisierte „Wörter“, die je nach Kontext unterschiedlich ausgesprochen werden müssen. [ 2 ] Zum Beispiel:

  • „$200“ würde im Englischen als „two hundred dollars“ ausgesprochen, im Samoanischen jedoch als „lua selau tālā“. [ 3 ]
  • „vi“ kann je nach den umgebenden Wörtern als „ vie “, „ vee “ oder „ the sixth “ ausgesprochen werden . [ 4 ]

Texte können auch für die Speicherung und Suche in einer Datenbank normalisiert werden. Soll beispielsweise bei der Suche nach „resume“ das Wort „résumé“ gefunden werden, werden diakritische Zeichen entfernt . Soll „john“ hingegen „John“ finden, wird der Text in eine einheitliche Schreibweise umgewandelt . Zur Vorbereitung der Suche können Texte auch auf ihren Wortstamm reduziert (z. B. werden „flew“ und „flying“ zu „fly“ zusammengefasst), kanonisiert (z. B. durch die einheitliche Verwendung amerikanischer oder britischer Rechtschreibung ) oder von Stoppwörtern befreit werden.

Techniken

Für einfache, kontextunabhängige Normalisierungen, wie das Entfernen nicht- alphanumerischer Zeichen oder diakritischer Zeichen , genügen reguläre Ausdrücke . Beispielsweise normalisiert das Skript `sed` ganze Folgen von Leerzeichen zu einem einzelnen Leerzeichen. Komplexere Normalisierungen erfordern entsprechend komplexere Algorithmen, die Domänenwissen über die zu normalisierende Sprache und das Vokabular voraussetzen. Unter anderem wurde die Textnormalisierung als Problem der Tokenisierung und des Tagging von Textströmen [ 5 ] sowie als Spezialfall der maschinellen Übersetzung modelliert [ 6 ] [ 7 ] .sed ‑e "s/\s+/ /g"  inputfile

Textwissenschaft

Im Bereich der Textwissenschaft und der Edition historischer Texte bezeichnet der Begriff „Normalisierung“ eine gewisse Modernisierung und Standardisierung – beispielsweise durch die Erweiterung von Schreiberabkürzungen und die Transliteration archaischer Glyphen , wie sie typischerweise in Handschriften und frühen Drucken vorkommen. Eine normalisierte Edition unterscheidet sich daher von einer diplomatischen (oder semidiplomatischen ) Edition, in der versucht wird, diese Merkmale zu bewahren. Ziel ist es, ein angemessenes Gleichgewicht zu finden zwischen einerseits strenger Treue zum Quelltext (einschließlich beispielsweise der Bewahrung rätselhafter und mehrdeutiger Elemente) und andererseits der Erstellung eines neuen Textes, der für den modernen Leser verständlich und zugänglich ist. Der Umfang der Normalisierung liegt daher im Ermessen des Herausgebers und variiert. Manche Herausgeber modernisieren beispielsweise archaische Schreibweisen und Interpunktion, andere nicht. [ 8 ]

Eine Textausgabe kann anhand interner Kriterien, bei denen die Orthografie an die Sprache des Originals angepasst wird, oder externer Kriterien, bei denen die Normen einer anderen Epoche angewendet werden, normalisiert werden. [ 9 ] Beispielsweise kann eine veröffentlichte Ausgabe eines mittelalterlichen isländischen Manuskripts an die Konventionen des modernen Isländischen oder an das klassische Altisländische angepasst werden . [ 9 ] Die Normalisierungsstandards variieren je nach Sprache der Ausgabe sowie den spezifischen Konventionen des Verlags.

Siehe auch

Referenzen

  1. ^ Richard Sproat und Steven Bedrick (September 2011). „CS506/606: Txt Nrmlztn“ . Abgerufen am 2. Oktober 2012 .
  2. ^ Sproat, R.; Black, A.; Chen, S.; Kumar, S.; Ostendorf, M.; Richards, C. (2001). „Normalisierung nicht-standardisierter Wörter.“ Computer Speech and Language 15 ; 287–333. doi : 10.1006/csla.2001.0169 .
  3. ^ „Samoanische Zahlen“ . MyLanguages.org . Abgerufen am 2. Oktober 2012 .
  4. ^ „Text-to-Speech Engines Text Normalization“ . MSDN . Abgerufen am 2. Oktober 2012 .
  5. ^ Zhu, C.; Tang, J.; Li, H.; Ng, H.; Zhao, T. (2007). „Ein einheitlicher Tagging-Ansatz zur Textnormalisierung.“ Proceedings of the 45th Annual Meeting of the Association of Computational Linguistics ; 688–695. doi : 10.1.1.72.8138 .
  6. ^ Filip, G.; Krzysztof, J.; Agnieszka, W.; Mikołaj, W. (2006). „Textnormalisierung als Spezialfall der maschinellen Übersetzung.“ Proceedings of the International Multiconference on Computer Science and Information Technology 1 ; 51–56.
  7. ^ Mosquera, A.; Lloret, E.; Moreda, P. (2012). „Zur Erleichterung der Zugänglichkeit von Web 2.0-Texten durch Textnormalisierung“. In: Proceedings of the LREC workshop: Natural Language Processing for Improving Textual Accessibility (NLP4ITA) ; 9-14
  8. ^ Harvey, PDA (2001). Editing Historical Records . London: British Library. S.  40–46 . ISBN 0-7123-4684-8Die
  9. ^ a b Bernharðsson, Haraldur; Haugen, Odd Einar; Berg, Ivar (12. Dezember 2019). „Menota Handbook 3.0, Kap. 10. Normalisierung“ . Mittelalterliches nordisches Textarchiv . Abgerufen am 18. November 2025 .