Beschriftete Daten

Gelabelte Daten sind eine Gruppe von Datenpunkten , die mit einem oder mehreren Labels versehen wurden. Beim Labeling wird typischerweise ein Satz ungelabelter Daten verwendet und jedes einzelne Element mit informativen Tags, sogenannten Beurteilungen, ergänzt . Ein Datenlabel kann beispielsweise angeben, ob ein Foto ein Pferd oder eine Kuh zeigt, welche Wörter in einer Audioaufnahme gesprochen wurden, welche Handlung in einem Video dargestellt ist, welches Thema ein Nachrichtenartikel behandelt, welche allgemeine Stimmung ein Tweet vermittelt oder ob ein Punkt auf einem Röntgenbild ein Tumor ist.

Labels können durch die Bewertung ungelabelter Daten durch Menschen gewonnen werden. ^{[ 1 ]} Gelabelte Daten sind deutlich teurer zu beschaffen als die ungelabelten Rohdaten.

Die Qualität der gelabelten Daten beeinflusst direkt die Leistung von überwachten maschinellen Lernmodellen im Betrieb, da diese Modelle aus den bereitgestellten Labels lernen. ^{[ 2 ]}

Im Jahr 2006 initiierte Fei-Fei Li , Co-Direktorin des Stanford Human-Centered AI Institute, Forschungsarbeiten zur Verbesserung von Modellen und Algorithmen der künstlichen Intelligenz für die Bilderkennung durch eine signifikante Erweiterung der Trainingsdaten . Die Forscher luden Millionen von Bildern aus dem World Wide Web herunter , und ein Team von Studenten begann, jedem Bild Objektbezeichnungen zuzuordnen. 2007 lagerte Li die Datenbeschriftung an Amazon Mechanical Turk aus , einen Online-Marktplatz für digitale Auftragsarbeiten . Die 3,2 Millionen Bilder, die von mehr als 49.000 Arbeitern beschriftet wurden, bildeten die Grundlage für ImageNet , eine der größten manuell beschrifteten Datenbanken zur Objekterkennung . ^{[ 3 ]}

Nachdem ein annotierter Datensatz erstellt wurde, können Modelle des maschinellen Lernens auf die Daten angewendet werden, sodass dem Modell neue, nicht annotierte Daten präsentiert werden können und für diese Daten eine wahrscheinliche Kategorie erraten oder vorhergesagt werden kann. ^{[ 4 ]}

Algorithmische Entscheidungsfindung ist sowohl durch Programmierer- als auch durch Datenverzerrungen beeinflusst. Trainingsdaten, die auf verzerrten Daten basieren, führen zu Vorurteilen und Auslassungen in einem Vorhersagemodell , selbst wenn der Algorithmus für maschinelles Lernen legitim ist. Die zum Trainieren eines spezifischen Algorithmus verwendeten Daten müssen eine statistisch repräsentative Stichprobe darstellen , um die Ergebnisse nicht zu verfälschen. ^{[ 5 ]} Beispielsweise werden in Gesichtserkennungssystemen unterrepräsentierte Gruppen häufig falsch klassifiziert, wenn die verfügbaren Trainingsdaten nicht repräsentativ für die Bevölkerung sind. Eine Studie von Joy Buolamwini und Timnit Gebru aus dem Jahr 2018 zeigte, dass zwei Datensätze zur Gesichtsanalyse, die zum Trainieren von Gesichtserkennungsalgorithmen verwendet wurden (IJB-A und Adience), zu 79,6 % bzw. 86,2 % aus hellhäutigen Menschen bestehen. ^{[ 6 ]}

Menschliche Annotatoren sind bei der Datenkennzeichnung fehleranfällig und unterliegen Verzerrungen. Dies kann zu inkonsistenten Kennzeichnungen führen und die Qualität des Datensatzes beeinträchtigen. Die Inkonsistenz kann wiederum die Generalisierungsfähigkeit des maschinellen Lernmodells beeinträchtigen. ^{[ 7 ]}

Bestimmte Bereiche, wie die Analyse juristischer Dokumente oder die medizinische Bildgebung , erfordern Annotatoren mit spezialisiertem Fachwissen. Ohne dieses Fachwissen können die Annotationen oder die gekennzeichneten Daten ungenau sein, was die Leistung des Modells für maschinelles Lernen in realen Anwendungsszenarien negativ beeinflusst. ^{[ 8 ]}

• Datenannotation
• Menschen im Zeitraffer (Film)