Sketch Engine

Sketch Engine ist eine Korpusverwaltungs- und Textanalyse- Software, die seit 2003 von Lexical Computing entwickelt wird. Sie ermöglicht es Sprachwissenschaftlern ( Lexikographen , Korpuslinguisten , Übersetzern und Sprachlernenden ) , große Textsammlungen anhand komplexer und linguistisch begründeter Anfragen zu durchsuchen. Sketch Engine verdankt seinen Namen einer seiner Kernfunktionen, den Wortskizzen : einseitigen, automatischen, korpusbasierten Zusammenfassungen des grammatischen und kollokativen Verhaltens eines Wortes. ^{[ 2 ]} Aktuell unterstützt die Software Korpora in über 100 Sprachen. ^{[ 3 ]}

^{Sketch Engine ist ein Produkt von Lexical Computing, einem Unternehmen ,} das 2003 von dem Lexikografen und Wissenschaftler Adam Kilgarriff gegründet wurde . ^{[ 4 ]} Er begann eine Zusammenarbeit mit Pavel Rychlý, einem Informatiker am Zentrum für Verarbeitung natürlicher Sprache der Masaryk-Universität [ ^{5 ]} und Entwickler von Manatee und Bonito (zwei Hauptbestandteile der Software-Suite). Kilgarriff führte außerdem das Konzept der Wortskizzen ein .

Seitdem ist Sketch Engine eine kommerzielle Software. Allerdings sind alle Kernfunktionen von Manatee und Bonito, die bis 2003 entwickelt (und seitdem erweitert) wurden, unter der GPL- Lizenz in der NoSketch Engine-Suite frei verfügbar. ^{[ 6 ]}

Eine Liste der in Sketch Engine verfügbaren Werkzeuge:

• Wortskizzen – eine einseitige, automatisch generierte Zusammenfassung des grammatikalischen und kollokativen Verhaltens eines Wortes.
• Wortskizze zur Differenzanalyse – vergleicht und kontrastiert zwei Wörter durch die Analyse ihrer Kollokationen.
• Distributioneller Thesaurus – automatisierter Thesaurus zum Auffinden von Wörtern mit ähnlicher Bedeutung oder im gleichen/ähnlichen Kontext.
• Konkordanzsuche – findet Vorkommen einer Wortform , eines Lemmas , einer Phrase, eines Tags oder einer komplexen Struktur
• Kollokationssuche – Wortkookkurrenzanalyse, die die häufigsten Wörter (für ein Suchwort) anzeigt, die als Kollokationskandidaten in Frage kommen.
• Wortlisten – generiert Häufigkeitslisten, die anhand komplexer Kriterien gefiltert werden können.
• n-Gramme – erzeugt Häufigkeitslisten von Mehrwortausdrücken
• Terminologie- / Schlüsselwortextraktion (sowohl einsprachig als auch zweisprachig) – automatische Extraktion von Schlüsselwörtern und Mehrwortbegriffen aus Texten (basierend auf Häufigkeitszählung und linguistischen Kriterien)
• Diachrone Analyse ( Trends ) ^{[ 7 ]} – Erkennung von Wörtern, deren Gebrauchshäufigkeit sich im Laufe der Zeit verändert (Anzeige von Trendwörtern).
• Korpusaufbau und -verwaltung – Erstellung von Korpora aus dem Web oder hochgeladenen Texten inklusive Wortartenbestimmung und Lemmatisierung , die als Data-Mining -Software verwendet werden können.
• Funktionen für parallele Korpora (zweisprachig) – Nachschlagen von Übersetzungsbeispielen ( EUR-Lex- Korpus, Europarl-Korpus , OPUS-Korpus usw.) oder Erstellen eines parallelen Korpus aus eigenen ausgerichteten Texten
• Texttypenanalyse – Statistiken der Metadaten im Korpus

Sketch Engine kann Begriffe automatisch extrahieren, indem es Wörter identifiziert, die typisch für ein bestimmtes Korpus, Dokument oder einen bestimmten Text sind. Einzelne Wörter und Wortgruppen lassen sich aus einsprachigen oder zweisprachigen Texten extrahieren. Die Funktion zur Terminologieextraktion liefert eine Liste relevanter Begriffe basierend auf dem Vergleich mit einem großen Korpus allgemeiner Sprache. Diese Funktionalität ist auch als separater Dienst namens OneClick Terms mit einer eigenen Benutzeroberfläche verfügbar. ^{[ 8 ]}

SKELL (ehemals SkELL ) ist ein kostenloser Webdienst, der auf Sketch Engine basiert und sich an Sprachlernende und -lehrer richtet . Er nutzt die proprietäre GDEX-Bewertungsfunktion (Good Dictionary Examples) von Sketch Engine, um authentische Beispielsätze für bestimmte Zielwörter bereitzustellen. Die Ergebnisse stammen aus einem speziellen Korpus hochwertiger Texte, die Alltags-, Standard-, formelle und Fachsprache abdecken, und werden als Konkordanz dargestellt. SKELL enthält außerdem vereinfachte Versionen der Wortskizzen- und Thesaurusfunktionen von Sketch Engine . ^{[ 9 ]}

Es wurde vorgeschlagen, SKELL beispielsweise zu verwenden, um Schülern das Verständnis der Bedeutung und/oder Verwendung eines Wortes oder einer Phrase zu erleichtern; um Lehrkräften bei der Verwendung von Beispielsätzen im Unterricht zu helfen; um Kollokationen zu entdecken und zu erforschen ; um Lückentextübungen zu erstellen ; und um verschiedene Arten von Homonymen und polysemen Wörtern zu vermitteln . ^{[ 10 ] [ 11 ]} SKELL wurde erstmals 2014 vorgestellt, damals zunächst nur für Englisch . ^{[ 9 ]} Später wurde die Unterstützung für Russisch , ^{[ 12 ]} Tschechisch , ^{[ 13 ]} Deutsch , ^{[ 14 ]} Italienisch ^{[ 15 ]} und Estnisch ^{[ 16 ]} hinzugefügt .

Sketch Engine bietet Zugriff auf über 800 Textkorpora. Darunter befinden sich einsprachige und mehrsprachige Korpora unterschiedlicher Größe (von tausend bis zu 85 Milliarden Wörtern) und aus verschiedenen Quellen (z. B. Web, Bücher, Untertitel, juristische Dokumente). Die Liste der Korpora umfasst das British National Corpus , das Brown Corpus , das Cambridge Academic English Corpus und das Cambridge Learner Corpus, die CHILDES- Korpora zur Kindersprache, OpenSubtitles (60 parallele Korpora), 24 mehrsprachige Korpora von EUR-Lex -Dokumenten, die TenTen Corpus Family (mehrere Milliarden Wörter umfassende Webkorpora) sowie Trends-Korpora (Monitorkorpora mit täglichen Aktualisierungen). ^{[ 17 ]}

Sketch Engine besteht aus drei Hauptkomponenten: einem zugrunde liegenden Datenbankmanagementsystem namens Manatee, einem webbasierten Such-Frontend namens Bonito und einer webbasierten Oberfläche zum Erstellen und Verwalten von Korpora namens Corpus Architect. ^{[ 18 ]}

Manatee ist ein Datenbankmanagementsystem, das speziell für die effiziente Indizierung großer Textkorpora entwickelt wurde. Es basiert auf dem Prinzip der invertierten Indizierung (Speicherung eines Index aller Positionen eines gegebenen Wortes im Text). Es wurde bereits zur Indizierung von Textkorpora mit mehreren zehn Milliarden Wörtern eingesetzt. ^{[ 19 ]}

Die Suche in den von Manatee indizierten Korpora erfolgt durch Formulierung von Anfragen in der Corpus Query Language (CQL). ^{​​[ 20 ]}

Manatee ist in C++ geschrieben und bietet eine API für eine Reihe weiterer Programmiersprachen, darunter Python , Java , Perl und Ruby . Kürzlich wurde es für eine schnellere Verarbeitung von Korpusabfragen in Go neu geschrieben. ^{[ 21 ]}

Bonito ist eine Weboberfläche für Manatee, die den Zugriff auf die Korpussuche ermöglicht. Im Client-Server-Modell fungiert Manatee als Server und Bonito als Client. Es ist in Python geschrieben . ^{[ 18 ]}

Corpus Architect ist eine Weboberfläche mit Funktionen zum Erstellen und Verwalten von Korpora. Sie ist in Python geschrieben .

Sketch Engine wird von großen britischen und anderen Verlagen zur Erstellung von Wörterbüchern wie dem Macmillan English Dictionary , den Dictionnaires Le Robert , Oxford University Press oder Shogakukan verwendet . Vier der fünf größten Wörterbuchverlage Großbritanniens nutzen Sketch Engine. ^{[ 22 ]}

• Thomas, James (März 2016). Discovering English with Sketch Engine: a corpus-based approach to language exploration. Workbook and glossary . Brno: Versatile. ISBN 9788026095798Die

• Sketch Engine-Website
• Liste der in Sketch Engine verfügbaren Korpora
• OneClick Terms – Online-Term-Extraktor mit Term-Extraktionstechnologie von Sketch Engine
• SKELL – Sketch Engine zum Sprachenlernen