Paraphrasieren (Computerlinguistik)

Paraphrasieren ist in der Computerlinguistik eine Aufgabe der natürlichen Sprachverarbeitung, die darin besteht , Paraphrasen zu erkennen und zu generieren . Die Anwendungsgebiete des Paraphrasierens sind vielfältig und umfassen ^Information Retrieval , Fragebeantwortung , Textzusammenfassung und Plagiatserkennung . ^{[ 1 ]} Paraphrasieren ist auch nützlich für die Evaluierung maschineller Übersetzungen [ ^{2 ]} sowie für die semantische Analyse ^{[ 3 ]} und die Generierung ^{[ 4 ]} neuer Beispiele zur Erweiterung bestehender Korpora . ^{[ 5 ]}

Barzilay und Lee ^{[ 5 ]} schlugen eine Methode zur Generierung von Paraphrasen mithilfe monolingualer Parallelkorpora vor , nämlich Nachrichtenartikel, die über dasselbe Ereignis am selben Tag berichten. Das Training besteht darin, mithilfe von Multi-Sequenz-Alignment Paraphrasen auf Satzebene aus einem unannotierten Korpus zu generieren. Dies geschieht durch

• wiederkehrende Muster in jedem einzelnen Korpus finden, z. B. „ X (verletzt/verwundet) Y Personen, Z schwer verletzt“, wobei X, Y und Z Variablen sind.
• Paarungen zwischen solchen Mustern finden, die Paraphrasen darstellen, z. B. „ X (verletzt/verwundet) Y Personen, Z schwer“ und „ Y wurden (verwundet/verletzt) ​​von X , darunter Z befanden sich in einem ernsten Zustand“.

Dies wird erreicht, indem zunächst ähnliche Sätze mithilfe von N-Gramm- Überlappung gruppiert werden. Wiederkehrende Muster innerhalb dieser Cluster werden durch Multi-Sequenz-Alignment identifiziert. Anschließend wird die Position der Argumentwörter bestimmt, indem Bereiche hoher Variabilität innerhalb jedes Clusters gefunden werden, d. h. zwischen Wörtern, die in mehr als 50 % der Sätze eines Clusters vorkommen. Paarungen zwischen Mustern werden dann durch den Vergleich ähnlicher variabler Wörter in verschiedenen Korpora gefunden. Schließlich können neue Paraphrasen generiert werden, indem ein passender Cluster für einen Quellsatz ausgewählt und dessen Argument in beliebig viele Muster innerhalb des Clusters eingesetzt wird.

Paraphrasen lassen sich auch mithilfe phrasenbasierter Übersetzung erzeugen , wie von Bannard und Callison-Burch vorgeschlagen. ^{[ 6 ]} Das Grundprinzip besteht darin, Phrasen in einer Ausgangssprache so zuzuordnen , dass potenzielle Paraphrasen in der Zielsprache entstehen. Beispielsweise wird die englische Phrase „under control“ mit der deutschen Phrase „unter kontrolle“ abgeglichen. Die Phrase „unter kontrolle“ findet sich dann in einem anderen deutschen Satz wieder, in dem die entsprechende englische Phrase „in check“ vorkommt – eine Paraphrase von „under control“.

Die Wahrscheinlichkeitsverteilung kann wie folgt modelliert werden: , wobei die Wahrscheinlichkeitsphrase eine Paraphrase von ist , was der Summe über alle entspricht , einer möglichen Phrasenübersetzung in der Pivotsprache. Zusätzlich wird der Satz als Prior hinzugefügt, um der Paraphrase Kontext zu verleihen. Somit kann die optimale Paraphrase wie folgt modelliert werden: ${\displaystyle \Pr(e_{2}|e_{1})}$${\displaystyle e_{2}}$${\displaystyle e_{1}}$${\displaystyle \Pr(e_{2}|f)\Pr(f|e_{1})}$${\displaystyle f}$${\displaystyle e_{1}}$${\displaystyle {\hat {e_{2}}}}$

${\displaystyle {\hat {e_{2}}}={\text{arg}}\max _{e_{2}\neq e_{1}}\Pr(e_{2}|e_{1},S)={\text{arg}}\max _{e_{2}\neq e_{1}}\sum _{f}\Pr(e_{2}|f,S)\Pr(f|e_{1},S)}$

${\displaystyle \Pr(e_{2}|f)}$und können angenähert werden, indem man einfach ihre Häufigkeiten betrachtet. Das Hinzufügen als A-priori-Wahrscheinlichkeit wird modelliert, indem die Wahrscheinlichkeit der Bildung der Form berechnet wird, wenn durch ersetzt wird .${\displaystyle \Pr(f|e_{1})}$${\displaystyle S}$${\displaystyle S}$${\displaystyle e_{1}}$${\displaystyle e_{2}}$

Die Generierung von Paraphrasen mit Long Short-Term Memory (LSTM)-Modellen hat sich als erfolgreich erwiesen . ^{[ 7 ]} Kurz gesagt, besteht das Modell aus einem Encoder und einem Decoder, die beide auf Varianten eines gestapelten Residual -LSTM basieren. Der Encoder-LSTM verarbeitet die One-Hot -Kodierung aller Wörter eines Satzes und erzeugt einen finalen Hidden-Vektor, der den eingegebenen Satz repräsentiert. Der Decoder-LSTM verwendet diesen Hidden-Vektor als Eingabe und generiert einen neuen Satz, der mit einem Satzende-Token endet. Encoder und Decoder werden darauf trainiert, eine Phrase zu verarbeiten und die One-Hot-Verteilung einer entsprechenden Paraphrase zu reproduzieren, indem die Perplexität mittels einfachem stochastischem Gradientenabstieg minimiert wird . Neue Paraphrasen werden generiert, indem eine neue Phrase dem Encoder übergeben und dessen Ausgabe an den Decoder weitergeleitet wird.

Mit der Einführung von Transformer-Modellen verbesserten sich Paraphrasierungsansätze hinsichtlich ihrer Textgenerierungsfähigkeit durch Skalierung der neuronalen Netzwerkparameter und starke Parallelisierung des Trainings mittels Feedforward-Schichten . ^{[ 8 ]} Diese Modelle generieren Texte so flüssig, dass menschliche Experten nicht mehr erkennen können, ob ein Beispiel von einem Menschen oder maschinell erstellt wurde. ^{[ 9 ]} Transformerbasierte Paraphrasierungsgenerierung nutzt Autoencoder- , autoregressive oder Sequence-to-Sequence- Methoden. Autoencoder-Modelle sagen Wortersetzungskandidaten mithilfe einer One-Hot-Verteilung über den Wortschatz voraus, während autoregressive und Seq2Seq-Modelle basierend auf dem Quelltext neue Texte generieren, indem sie jeweils ein Wort vorhersagen. ^{[ 10 ] [ 11 ]} Es gibt auch fortgeschrittenere Ansätze, die Paraphrasierung anhand vordefinierter Qualitätsdimensionen wie semantischer Erhaltung oder lexikalischer Vielfalt steuerbar machen. ^{[ 12 ]} Viele Transformer-basierte Paraphrasierungsmethoden nutzen unüberwachtes Lernen , um große Mengen an Trainingsdaten zu verarbeiten und ihre Methoden zu skalieren. ^{[ 13 ] [ 14 ]}

Die Erkennung von Paraphrasen wurde von Socher et al. ^{[ 1 ]} mithilfe rekursiver Autoencoder versucht . Das Grundkonzept besteht darin, durch rekursive Anwendung eines Autoencoders eine Vektordarstellung eines Satzes und seiner Komponenten zu erzeugen. Die Vektordarstellungen der Paraphrasen sollten ähnliche Vektordarstellungen aufweisen; sie werden verarbeitet und anschließend einem neuronalen Netzwerk zur Klassifizierung als Eingabe zugeführt.

Der Autoencoder ist so konzipiert, dass er für einen Satz mit Wörtern zweidimensionale Wortvektoren als Eingabe verwendet und einen n-dimensionalen Vektor als Ausgabe erzeugt. Derselbe Autoencoder wird auf jedes Wortpaar angewendet, um Vektoren zu erzeugen . Anschließend wird der Autoencoder rekursiv mit den neuen Vektoren als Eingaben angewendet, bis ein einzelner Vektor entsteht. Bei einer ungeraden Anzahl von Eingaben wird der erste Vektor unverändert an die nächste Rekursionsebene weitergeleitet. Der Autoencoder wird so trainiert, dass er jeden Vektor im gesamten Rekursionsbaum reproduzieren kann, einschließlich der ursprünglichen Wortvektoren. ${\displaystyle W}$${\displaystyle m}$${\displaystyle n}$${\displaystyle n}$${\displaystyle S}$${\displaystyle \lfloor m/2\rfloor }$

Bei zwei Sätzen der Längen 4 und 3 erzeugen die Autoencoder 7 bzw. 5 Vektordarstellungen, einschließlich der initialen Wortvektoren. Anschließend wird die euklidische Distanz zwischen jeder Vektorkombination in den Vektoren berechnet , um eine Ähnlichkeitsmatrix zu erzeugen . Diese Matrix wird dann einem dynamischen Min- Pooling-Layer unterzogen, um eine Matrix fester Größe zu erhalten . Da die Längen der Vektoren nicht für alle Sätze einheitlich sind, wird die Matrix in annähernd gleich große Abschnitte unterteilt . Der Output wird anschließend normalisiert (Mittelwert 0, Standardabweichung 1) und einem vollständig verbundenen Layer mit Softmax- Ausgabe zugeführt . Das dynamische Pooling-zu-Softmax-Modell wird anhand von Paaren bekannter Paraphrasen trainiert. ${\displaystyle W_{1}}$${\displaystyle W_{2}}$${\displaystyle W_{1}}$${\displaystyle W_{2}}$${\displaystyle S\in \mathbb {R} ^{7\times 5}}$${\displaystyle S}$${\displaystyle n_{p}\times n_{p}}$${\displaystyle S}$${\displaystyle S}$${\displaystyle n_{p}}$

Skip-Thought-Vektoren stellen einen Versuch dar, die semantische Bedeutung eines Satzes als Vektor darzustellen, ähnlich dem Skip-Gram-Modell . ^{[ 15 ]} Skip-Thought-Vektoren werden mithilfe eines Skip-Thought-Modells erzeugt, das aus drei Hauptkomponenten besteht: einem Encoder und zwei Decodern. Ausgehend von einem Dokumentenkorpus wird das Skip-Thought-Modell trainiert, einen Satz als Eingabe zu nehmen und ihn in einen Skip-Thought-Vektor zu kodieren. Dieser Skip-Thought-Vektor dient als Eingabe für beide Decoder; einer versucht, den vorherigen Satz, der andere den folgenden vollständig zu reproduzieren. Encoder und Decoder können mithilfe eines rekursiven neuronalen Netzes (RNN) oder eines LSTM implementiert werden .

Da Paraphrasen dieselbe semantische Bedeutung haben, sollten sie ähnliche Gedankensprungvektoren aufweisen. Daher lässt sich eine einfache logistische Regression mit guten Ergebnissen trainieren, indem man die absolute Differenz und das komponentenweise Produkt zweier Gedankensprungvektoren als Eingabe verwendet.

Ähnlich wie Transformer-Modelle die Generierung von Paraphrasen beeinflusst haben, war ihre Anwendung bei der Identifizierung von Paraphrasen sehr erfolgreich. Modelle wie BERT können mit einer binären Klassifizierungsschicht angepasst und end-to-end für Identifizierungsaufgaben trainiert werden. ^{[ 16 ] [ 17 ]} Transformer erzielen im Vergleich zu traditionelleren Methoden des maschinellen Lernens wie der logistischen Regression starke Ergebnisse beim Transfer zwischen Domänen und Paraphrasierungstechniken . Weitere erfolgreiche Methoden, die auf der Transformer-Architektur basieren, umfassen adversarielles Lernen und Meta-Lernen . ^{[ 18 ] [ 19 ]}

Zur Bewertung von Paraphrasen können verschiedene Methoden eingesetzt werden. Da die Paraphrasenerkennung als Klassifizierungsproblem formuliert werden kann, eignen sich die meisten Standardmetriken wie Genauigkeit , F1-Score oder ROC-Kurven gut. Die Berechnung des F1-Scores gestaltet sich jedoch schwierig, da es aufwendig ist, eine vollständige Liste von Paraphrasen für einen gegebenen Satz zu erstellen und gute Paraphrasen vom Kontext abhängen. ParaMetric ^{[ 20 ]} ist eine Metrik, die diese Probleme beheben soll. ParaMetric berechnet Präzision und Trefferquote eines automatischen Paraphrasierungssystems, indem die automatische Zuordnung von Paraphrasen mit einer manuellen Zuordnung ähnlicher Sätze verglichen wird. Da ParaMetric lediglich die Qualität der Satzzuordnung bewertet, kann es zur Bewertung von Paraphrasengenerierungssystemen verwendet werden, sofern diese die Satzzuordnung in ihren Generierungsprozess einbeziehen. Ein wesentlicher Nachteil von ParaMetric ist der große und umfassende Satz manueller Zuordnungen, der initial erstellt werden muss, bevor eine Bewertung erfolgen kann.

Die Bewertung der Paraphrasengenerierung ist mit ähnlichen Schwierigkeiten verbunden wie die Bewertung maschineller Übersetzungen . Die Qualität einer Paraphrase hängt unter anderem vom Kontext, ihrer Verwendung als Zusammenfassung und ihrer Generierungsmethode ab. Zudem unterscheidet sich eine gute Paraphrase in der Regel lexikalisch vom Ausgangstext. Die einfachste Methode zur Bewertung der Paraphrasengenerierung wäre die Begutachtung durch menschliche Gutachter. Diese ist jedoch oft zeitaufwendig. Automatisierte Bewertungsverfahren erweisen sich als schwierig, da es sich im Wesentlichen um ein ebenso komplexes Problem wie die Paraphrasenerkennung handelt. Obwohl BLEU (Bilingual Evaluation Understudy ) ursprünglich zur Bewertung maschineller Übersetzungen entwickelt wurde, hat es sich auch bei der Bewertung von Modellen zur Paraphrasengenerierung bewährt. Allerdings weisen Paraphrasen häufig mehrere lexikalisch unterschiedliche, aber gleichermaßen gültige Lösungen auf, was BLEU und ähnliche Bewertungsmetriken beeinträchtigt. ^{[ 21 ]}

Zu den speziell für die Bewertung der Paraphrasengenerierung entwickelten Metriken gehören Paraphrase in N-Gram Change (PINC) ^{[ 21 ]} und Paraphrase Evaluation Metric (PEM) ^{[ 22 ]} sowie die bereits erwähnte ParaMetric. PINC ist für die Verwendung mit BLEU konzipiert und hilft, dessen Schwächen auszugleichen. Da BLEU Schwierigkeiten hat, lexikalische Unähnlichkeit zu messen, misst PINC die fehlende N-Gramm-Überlappung zwischen einem Quellsatz und einer Paraphrase. Im Wesentlichen entspricht PINC der Jaccard-Distanz zwischen dem Satz und der Paraphrase, wobei N-Gramme, die im Quellsatz vorkommen, ausgeschlossen werden, um eine gewisse semantische Äquivalenz zu gewährleisten. PEM hingegen versucht, die „Angemessenheit, Flüssigkeit und lexikalische Unähnlichkeit“ von Paraphrasen zu bewerten, indem es einen einzelnen heuristischen Wert liefert, der anhand der N-Gramm -Überlappung in einer Referenzsprache berechnet wird. Ein großer Nachteil von PEM ist jedoch, dass es mit großen, domänenspezifischen Parallelkorpora und menschlichen Gutachtern trainiert werden muss. ^{[ 21 ]} Es ist gleichbedeutend damit, ein Paraphrasenerkennungssystem zu trainieren, um ein Paraphrasengenerierungssystem zu evaluieren.

Der Quora-Fragenpaare-Datensatz, der Hunderttausende von Duplikatfragen enthält, hat sich zu einem gängigen Datensatz für die Evaluierung von Paraphrasenerkennungsalgorithmen entwickelt. ^{[ 23 ]} Alle zuverlässigen Paraphrasenerkennungsalgorithmen verwenden die Transformer-Architektur und basieren auf umfangreichem Vortraining mit allgemeineren Daten, bevor sie mit den Fragenpaaren feinabgestimmt werden.

• Hin- und Rückübersetzung
• Textvereinfachung  – Automatisierter Prozess
• Textnormalisierung  – Prozess der Umwandlung von Text in eine einheitliche kanonische Form

• Microsoft Research Paraphrase Corpus – ein Datensatz bestehend aus 5800 Satzpaaren, die aus Nachrichtenartikeln extrahiert und annotiert wurden, um festzustellen, ob ein Satzpaar semantische Äquivalenz aufweist.
• Paraphrasendatenbank (PPDB) – Eine durchsuchbare Datenbank mit Millionen von Paraphrasen in 16 verschiedenen Sprachen