Maschinelles Lernen

Maschinelles Lernen ( ML ) ist ein Forschungsgebiet der künstlichen Intelligenz, das sich mit der Entwicklung und Untersuchung statistischer Algorithmen befasst , die aus Daten lernen und auf unbekannte Daten generalisieren können und somit Aufgaben ausführen , ohne explizit programmiert zu werden . ^{[ 1 ]} Fortschritte im Bereich des Deep Learning haben es neuronalen Netzen , einer Klasse statistischer Algorithmen, ermöglicht, viele frühere Ansätze des maschinellen Lernens hinsichtlich ihrer Leistungsfähigkeit zu übertreffen.

Statistik und mathematische Optimierungsmethoden bilden die Grundlage des maschinellen Lernens. Data Mining ist ein verwandtes Forschungsgebiet, das sich mit explorativer Datenanalyse (EDA) mittels unüberwachtem Lernen befasst . ^{[ 3 ] [ 4 ]}

Aus theoretischer Sicht bietet das wahrscheinlich annähernd korrekte Lernen einen mathematischen und statistischen Rahmen zur Beschreibung von maschinellem Lernen. Die meisten traditionellen Algorithmen des maschinellen Lernens und des Deep Learning lassen sich in diesem Rahmen als empirische Risikominimierung beschreiben .

Der Begriff „maschinelles Lernen“ wurde 1959 von Arthur Samuel , einem IBM- Mitarbeiter und Pionier auf dem Gebiet der Computerspiele und der künstlichen Intelligenz, geprägt . ^{[ 5 ] [ 6 ]} Das Synonym „ selbstlernende Computer“ wurde in dieser Zeit ebenfalls verwendet. ^{[ 7 ] [ 8 ]}

Das erste maschinelle Lernprogramm wurde in den 1950er Jahren eingeführt, als Samuel ein Computerprogramm entwickelte , das die Gewinnchancen beim Damespiel für jede Seite berechnete. Die Geschichte des maschinellen Lernens wurzelt jedoch in jahrzehntelangen Bemühungen, menschliche kognitive Prozesse zu erforschen. ^{[ 9 ]} 1949 veröffentlichte der kanadische Psychologe Donald Hebb das Buch „Die Organisation des Verhaltens“ , in dem er eine theoretische neuronale Struktur vorstellte, die durch bestimmte Interaktionen zwischen Nervenzellen gebildet wird . ^{[ 10 ]} Die Hebbsche Theorie der neuronalen Interaktion legte den Grundstein für die Funktionsweise vieler Algorithmen des maschinellen Lernens, wobei verbundene künstliche Neuronen die Stärke ihrer Verbindungen anhand von Daten verändern. ^{[ 9 ]} Auch andere Forscher, die menschliche kognitive Systeme untersuchten, trugen zu den modernen Technologien des maschinellen Lernens bei, darunter Walter Pitts und Warren McCulloch , die das erste mathematische Modell neuronaler Netze vorschlugen, das Algorithmen enthält , die menschliche Denkprozesse widerspiegeln. ^{[ 9 ]}

Anfang der 1960er-Jahre entwickelte die Raytheon Company mit Cybertron eine experimentelle „Lernmaschine“ mit Lochstreifenspeicher . Diese analysierte Sonarsignale , Elektrokardiogramme und Sprachmuster mithilfe rudimentärer Methoden des bestärkenden Lernens . Sie wurde von einem menschlichen Bediener/Lehrer wiederholt trainiert, um Muster zu erkennen, und war mit einer „ Fehlertaste “ ausgestattet, die eine Neubewertung fehlerhafter Entscheidungen veranlasste. ^{[ 11 ]} Ein repräsentatives Werk zur Forschung im Bereich des maschinellen Lernens in den 1960er-Jahren war Nils Nilssons Buch „Learning Machines“, das sich hauptsächlich mit maschinellem Lernen für die Musterklassifizierung befasste . [ ^{12 ] Das} Interesse an Mustererkennung hielt auch in den 1970er-Jahren an, wie Duda und Hart 1973 beschrieben. ^{[ 13 ]} 1981 wurde ein Bericht über die Anwendung von Lehrstrategien veröffentlicht, mit denen ein künstliches neuronales Netzwerk lernt, 40 Zeichen (26 Buchstaben, 10 Ziffern und 4 Sonderzeichen) von einem Computerterminal zu erkennen. ^{[ 14 ]}

Tom M. Mitchell lieferte eine vielzitierte, formalere Definition der im Bereich des maschinellen Lernens untersuchten Algorithmen: „Ein Computerprogramm lernt aus Erfahrung E in Bezug auf eine Klasse von Aufgaben T und ein Leistungsmaß P, wenn sich seine Leistung bei Aufgaben in T , gemessen durch P , mit der Erfahrung E verbessert .“ ^{[ 15 ]} Diese Definition der Aufgaben, mit denen sich maschinelles Lernen befasst, ist im Wesentlichen operational und definiert das Feld nicht kognitiv. Sie folgt Alan Turings Vorschlag in seinem Aufsatz „ Computing Machinery and Intelligence “, in dem die Frage „Können Maschinen denken?“ durch die Frage ersetzt wird, ob Maschinen einen Menschen in seinen Antworten auf von Menschen gestellte Fragen überzeugend imitieren können. ^{[ 16 ] [ 17 ]}

Im Jahr 2014 führten Ian Goodfellow und andere generative adversarial networks (GANs) ein, die realistische synthetische Daten erzeugen können. ^{[ 18 ]} Bis 2016 hatte AlphaGo mithilfe von Reinforcement-Learning- Techniken gegen die besten menschlichen Go- Spieler gewonnen . ^{[ 19 ]}

Als wissenschaftliches Unterfangen entstand maschinelles Lernen aus dem Streben nach künstlicher Intelligenz (KI). In den Anfängen der KI als akademische Disziplin interessierten sich einige Forscher dafür, Maschinen aus Daten lernen zu lassen. Sie versuchten, das Problem mit verschiedenen symbolischen Methoden sowie mit sogenannten „ neuronalen Netzen “ anzugehen; dabei handelte es sich meist um Perzeptronen und andere Modelle , die sich später als Weiterentwicklungen der verallgemeinerten linearen Modelle der Statistik herausstellten. ^{[ 21 ]} Auch probabilistisches Schließen wurde eingesetzt, insbesondere in der automatisierten medizinischen Diagnose . ^{[ 22 ] : 488}

Die zunehmende Betonung des logischen, wissensbasierten Ansatzes führte jedoch zu einer Kluft zwischen KI und maschinellem Lernen. Probabilistische Systeme litten unter theoretischen und praktischen Problemen der Datenerfassung und -repräsentation. ^{[ 22 ] : 488} Um 1980 dominierten Expertensysteme die KI, und die Statistik verlor an Bedeutung. ^{[ 23 ]} Die Forschung zum symbolischen/wissensbasierten Lernen wurde innerhalb der KI fortgesetzt und führte zur induktiven logischen Programmierung (ILP). Der eher statistische Forschungszweig verlagerte sich jedoch nun außerhalb des eigentlichen KI-Bereichs hin zur Mustererkennung und Informationswiedergewinnung . ^{[ 22 ] : 708–710, 755} Die Forschung zu neuronalen Netzen wurde von KI und Informatik etwa zur gleichen Zeit aufgegeben. Dieses Teilgebiet, der sogenannte Konnektionismus , wurde von Forschern anderer Disziplinen, darunter John Hopfield , David Rumelhart und Geoffrey Hinton , weitergeführt . Ihren größten Erfolg erzielten sie Mitte der 1980er Jahre mit der Wiederentdeckung der Backpropagation . ^{[ 22 ] : 25}

Maschinelles Lernen (ML), das neu organisiert und als eigenständiges Forschungsgebiet anerkannt wurde, erlebte in den 1990er Jahren einen Aufschwung. Das Ziel des Forschungsfeldes verlagerte sich von der Entwicklung künstlicher Intelligenz hin zur Lösung praktischer Probleme. Der Fokus verlagerte sich weg von den symbolischen Ansätzen, die es von der KI übernommen hatte, hin zu Methoden und Modellen aus Statistik, Fuzzy-Logik und Wahrscheinlichkeitstheorie . ^{[ 23 ]}

Maschinelles Lernen und Data Mining verwenden oft dieselben Methoden und überschneiden sich stark. Während sich maschinelles Lernen auf Vorhersagen basierend auf bekannten , aus den Trainingsdaten gelernten Eigenschaften konzentriert, zielt Data Mining auf die Entdeckung bisher unbekannter Eigenschaften in den Daten ab (dies ist der Analyseschritt der Wissensentdeckung in Datenbanken). Data Mining nutzt viele Methoden des maschinellen Lernens, jedoch mit unterschiedlichen Zielen. Umgekehrt verwendet maschinelles Lernen auch Data-Mining-Methoden als „ unüberwachtes Lernen “ oder als Vorverarbeitungsschritt zur Verbesserung der Genauigkeit der Lernalgorithmen. Ein Großteil der Verwirrung zwischen diesen beiden Forschungsbereichen rührt von den grundlegenden Annahmen her, mit denen sie arbeiten: Im maschinellen Lernen wird die Leistung üblicherweise anhand der Fähigkeit bewertet, bekanntes Wissen zu reproduzieren, während bei Wissensentdeckung und Data Mining (KDD) die Entdeckung bisher unbekannten Wissens im Vordergrund steht. Bezogen auf bekanntes Wissen wird eine unüberwachte Methode von anderen überwachten Methoden leicht übertroffen. In einer typischen KDD-Aufgabe können überwachte Methoden jedoch aufgrund fehlender Trainingsdaten nicht eingesetzt werden.

Maschinelles Lernen ist eng mit Optimierung verknüpft : Viele Lernprobleme werden als Minimierung einer Verlustfunktion auf einem Trainingsdatensatz formuliert. Verlustfunktionen drücken die Diskrepanz zwischen den Vorhersagen des trainierten Modells und den tatsächlichen Problemfällen aus (beispielsweise möchte man bei der Klassifizierung Instanzen ein Label zuweisen , und Modelle werden trainiert, um die vorgegebenen Labels eines Beispieldatensatzes korrekt vorherzusagen). ^{[ 34 ]}

Die Charakterisierung der Generalisierungsfähigkeit verschiedener Lernalgorithmen ist ein aktives Thema aktueller Forschung, insbesondere im Hinblick auf Deep-Learning -Algorithmen.

Maschinelles Lernen und Statistik sind methodisch eng verwandte Gebiete, unterscheiden sich aber in ihrem Hauptziel: Die Statistik zieht Rückschlüsse auf die Gesamtpopulation aus einer Stichprobe , während maschinelles Lernen verallgemeinerbare Vorhersagemuster findet. ^{[ 35 ]}

Konventionelle statistische Analysen erfordern die Vorauswahl eines für den Datensatz am besten geeigneten Modells. Zudem werden nur signifikante oder theoretisch relevante Variablen, basierend auf bisherigen Erfahrungen, in die Analyse einbezogen. Maschinelles Lernen hingegen basiert nicht auf einem vordefinierten Modell; vielmehr formen die Daten das Modell, indem sie zugrundeliegende Muster erkennen. Je mehr Variablen (Eingabedaten) zum Trainieren des Modells verwendet werden, desto genauer ist das resultierende Modell. ^{[ 36 ]}

Leo Breiman unterschied zwei statistische Modellierungsparadigmen: das Datenmodell und das algorithmische Modell, ^{[ 37 ]} wobei „algorithmisches Modell“ mehr oder weniger die Algorithmen des maschinellen Lernens wie Random Forest meint .

Einige Statistiker haben Methoden des maschinellen Lernens übernommen und damit das Gebiet des statistischen Lernens geschaffen . ^{[ 38 ]}

Analytische und computergestützte Verfahren, die auf den Grundlagen der Physik ungeordneter Systeme basieren, lassen sich auf großskalige Probleme, wie beispielsweise maschinelles Lernen, ausweiten, etwa zur Analyse des Gewichtsraums tiefer neuronaler Netze . ^{[ 39 ]} Die statistische Physik findet somit Anwendung im Bereich der medizinischen Diagnostik . ^{[ 40 ]}

Ein zentrales Ziel eines Lernsystems ist die Generalisierung aus seinen Erfahrungen. ^{[ 2 ] [ 41 ]} Generalisierung bezeichnet in diesem Zusammenhang die Fähigkeit eines Lernsystems, nach dem Training mit einem Datensatz neue, unbekannte Beispiele/Aufgaben präzise zu lösen. Die Trainingsbeispiele stammen aus einer im Allgemeinen unbekannten Wahrscheinlichkeitsverteilung (die als repräsentativ für den Raum der möglichen Ereignisse gilt), und das Lernsystem muss ein allgemeines Modell dieses Raums entwickeln, das es ihm ermöglicht, in neuen Fällen ausreichend genaue Vorhersagen zu treffen.

Die computergestützte Analyse von Algorithmen des maschinellen Lernens und ihrer Leistungsfähigkeit ist ein Teilgebiet der theoretischen Informatik, die sogenannte Lerntheorie . Ein wichtiger Ansatz ist das Modell des wahrscheinlich annähernd korrekten Lernens . Da Trainingsdatensätze endlich und die Zukunft ungewiss sind, liefert die Lerntheorie in der Regel keine Leistungsgarantien für Algorithmen. Stattdessen sind probabilistische Leistungsgrenzen üblich. Die Bias-Varianz-Zerlegung ist eine Möglichkeit, den Generalisierungsfehler zu quantifizieren .

Für eine optimale Generalisierung sollte die Komplexität der Hypothese der Komplexität der den Daten zugrunde liegenden Funktion entsprechen. Ist die Hypothese weniger komplex als die Funktion, ist das Modell unterangepasst. Eine Erhöhung der Modellkomplexität verringert den Trainingsfehler. Ist die Hypothese jedoch zu komplex, neigt das Modell zur Überanpassung , und die Generalisierungsfähigkeit verschlechtert sich. ^{[ 42 ]}

Neben Leistungsgrenzen untersuchen Lerntheoretiker auch die Zeitkomplexität und die Durchführbarkeit von Lernprozessen. In der algorithmischen Lerntheorie gilt eine Berechnung als durchführbar, wenn sie in Polynomialzeit abgeschlossen werden kann . Es gibt zwei Arten von Ergebnissen zur Zeitkomplexität : Positive Ergebnisse zeigen, dass eine bestimmte Funktionsklasse in Polynomialzeit erlernt werden kann. Negative Ergebnisse zeigen, dass bestimmte Klassen nicht in Polynomialzeit erlernt werden können.

Maschinelle Lernverfahren werden traditionell in drei große Kategorien unterteilt, die Lernparadigmen entsprechen, je nach Art des dem Lernsystem zur Verfügung stehenden „Signals“ oder „Feedbacks“:

• Überwachtes Lernen : Dem Computer werden von einem „Lehrer“ Beispieleingaben und die dazugehörigen gewünschten Ausgaben präsentiert. Ziel ist es, eine allgemeine Regel zu lernen, die Eingaben Ausgaben zuordnet .
• Unüberwachtes Lernen : Dem Lernalgorithmus werden keine Labels vorgegeben, sodass er selbstständig Strukturen in den Eingabedaten erkennen muss. Unüberwachtes Lernen kann ein Selbstzweck sein (Entdeckung verborgener Muster in Daten) oder ein Mittel zum Zweck ( Merkmalslernen ).
• Reinforcement Learning : Ein Computerprogramm interagiert mit einer dynamischen Umgebung, in der es ein bestimmtes Ziel erreichen muss (z. B. ein Fahrzeug steuern oder ein Spiel gegen einen Gegner spielen). Während es sich in seinem Problemraum bewegt, erhält das Programm Belohnungen als Feedback, die es zu maximieren versucht, wodurch es aus Erfahrung lernt. ^{[ 2 ]}

Obwohl jeder Algorithmus Vor- und Nachteile hat, ist kein einzelner Algorithmus für alle Probleme geeignet. ^{[ 43 ] [ 44 ] [ 45 ]}

Überwachte Lernalgorithmen erstellen ein mathematisches Modell eines Datensatzes, das sowohl die Eingaben als auch die gewünschten Ausgaben enthält. ^{[ 46 ]} Die Daten, die als Trainingsdaten bezeichnet werden , bestehen aus einer Menge von Trainingsbeispielen. Jedes Trainingsbeispiel besitzt eine oder mehrere Eingaben und die gewünschte Ausgabe, auch als Überwachungssignal bezeichnet. Im mathematischen Modell wird jedes Trainingsbeispiel durch ein Array oder einen Vektor, manchmal auch Merkmalsvektor genannt, repräsentiert , und die Trainingsdaten werden durch eine Matrix dargestellt . Durch iterative Optimierung einer Zielfunktion lernen überwachte Lernalgorithmen eine Funktion, mit der die Ausgabe für neue Eingaben vorhergesagt werden kann. ^{[ 47 ]} Eine optimale Funktion ermöglicht es dem Algorithmus, die Ausgabe auch für Eingaben, die nicht Teil der Trainingsdaten waren, korrekt zu bestimmen. Ein Algorithmus, der die Genauigkeit seiner Ausgaben oder Vorhersagen im Laufe der Zeit verbessert, hat diese Aufgabe gelernt. ^{[ 15 ]}

Zu den Arten von überwachten Lernalgorithmen gehören aktives Lernen , Klassifizierung und Regression . ^{[ 48 ]} Klassifizierungsalgorithmen kommen zum Einsatz, wenn die Ausgaben auf eine begrenzte Anzahl von Werten beschränkt sind, während Regressionsalgorithmen verwendet werden, wenn die Ausgaben jeden numerischen Wert innerhalb eines Bereichs annehmen können. Beispielsweise ist bei einem Klassifizierungsalgorithmus, der E-Mails filtert, die Eingabe eine eingehende E-Mail und die Ausgabe der Ordner, in dem die E-Mail abgelegt werden soll. Im Gegensatz dazu wird die Regression für Aufgaben wie die Vorhersage der Körpergröße einer Person anhand von Faktoren wie Alter und Genetik oder die Prognose zukünftiger Temperaturen auf Basis historischer Daten verwendet. ^{[ 49 ]}

Ähnlichkeitslernen ist ein Bereich des überwachten maschinellen Lernens, der eng mit Regression und Klassifizierung verwandt ist. Ziel ist es, anhand von Beispielen mithilfe einer Ähnlichkeitsfunktion zu lernen, die die Ähnlichkeit oder Verwandtschaft zweier Objekte misst. Es findet Anwendung in Ranking- Systemen , Empfehlungssystemen , visueller Identitätserkennung, Gesichtserkennung und Sprecherverifizierung.

Unüberwachte Lernalgorithmen erkennen Strukturen in Daten, die weder gelabelt noch klassifiziert oder kategorisiert wurden. Anstatt auf Feedback zu reagieren, identifizieren sie Gemeinsamkeiten in den Daten und reagieren auf deren Vorhandensein oder Fehlen in jedem neuen Datenelement. Zentrale Anwendungen des unüberwachten maschinellen Lernens sind Clustering ^, Dimensionsreduktion [ ^{4 ]} und Dichteschätzung ^{[ 50 ]} .

Die Clusteranalyse ordnet eine Menge von Beobachtungen Teilmengen (Clustern ) zu , sodass Beobachtungen innerhalb desselben Clusters nach einem oder mehreren vordefinierten Kriterien ähnlich sind, während Beobachtungen aus verschiedenen Clustern unähnlich sind. Verschiedene Clustering-Verfahren treffen unterschiedliche Annahmen über die Struktur der Daten, die häufig durch ein Ähnlichkeitsmaß definiert und beispielsweise durch interne Kompaktheit (die Ähnlichkeit zwischen den Elementen desselben Clusters) und Separation (den Unterschied zwischen Clustern) bewertet werden. Andere Methoden basieren auf geschätzter Dichte und Konnektivität des Graphen .

Eine spezielle Form des unüberwachten Lernens, das sogenannte selbstüberwachte Lernen, beinhaltet das Trainieren eines Modells durch die Generierung des Überwachungssignals aus den Daten selbst. ^{[ 51 ] [ 52 ]}

Dimensionsreduktion ist ein Verfahren zur Verringerung der Anzahl der betrachteten Zufallsvariablen durch die Ermittlung einer Menge von Hauptvariablen. ^{[ 53 ]} Anders ausgedrückt: Es handelt sich um die Reduzierung der Dimension des Merkmalsatzes , auch „Anzahl der Merkmale“ genannt. Die meisten Dimensionsreduktionsverfahren lassen sich entweder der Merkmalseliminierung oder der Merkmalsextraktion zuordnen . Eine der gängigen Methoden ist die Hauptkomponentenanalyse (PCA). Die PCA transformiert höherdimensionale Daten (z. B. 3D) in einen kleineren Raum (z. B. 2D). Die Mannigfaltigkeitshypothese besagt, dass hochdimensionale Datensätze auf niedrigdimensionalen Mannigfaltigkeiten liegen . Viele Dimensionsreduktionsverfahren basieren auf dieser Annahme und führen zu den Bereichen Mannigfaltigkeitslernen und Mannigfaltigkeitsregularisierung .

Semi-überwachtes Lernen liegt zwischen unüberwachtem Lernen (ohne gelabelte Trainingsdaten) und überwachtem Lernen (mit vollständig gelabelten Trainingsdaten). Bei einigen Trainingsbeispielen fehlen die Trainingslabels. Dennoch haben viele Forscher im Bereich des maschinellen Lernens festgestellt, dass ungelabelte Daten, in Kombination mit einer kleinen Menge gelabelter Daten, die Lerngenauigkeit deutlich verbessern können.

Beim schwach überwachten Lernen sind die Trainingslabels verrauscht, begrenzt oder ungenau; allerdings sind diese Labels oft kostengünstiger zu beschaffen, was zu größeren effektiven Trainingsdatensätzen führt. ^{[ 54 ]}

Reinforcement Learning ist ein Teilgebiet des maschinellen Lernens, das sich damit befasst, wie Softwareagenten in einer Umgebung agieren sollten, um eine bestimmte kumulative Belohnung zu maximieren. Aufgrund seiner Allgemeingültigkeit wird es in vielen anderen Disziplinen untersucht, darunter Spieltheorie , Kontrolltheorie , Operations Research , Informationstheorie , simulationsbasierte Optimierung , Multiagentensysteme , Schwarmintelligenz , Statistik und genetische Algorithmen . Im Reinforcement Learning wird die Umgebung typischerweise als Markov-Entscheidungsprozess (MDP) dargestellt. Viele Reinforcement-Learning-Algorithmen nutzen dynamische Programmierungstechniken . ^{[ 55 ]} Reinforcement-Learning-Algorithmen setzen kein exaktes mathematisches Modell des MDP voraus und kommen zum Einsatz, wenn exakte Modelle nicht realisierbar sind. Sie werden beispielsweise in autonomen Fahrzeugen oder beim Erlernen von Spielstrategien gegen menschliche Gegner eingesetzt.

Es wurden weitere Ansätze entwickelt, die sich nicht eindeutig in diese dreifache Kategorisierung einordnen lassen, und manchmal werden von ein und demselben maschinellen Lernsystem mehrere Ansätze verwendet. Beispiele hierfür sind Topic Modeling und Meta-Learning . ^{[ 56 ]}

Selbstlernen als Paradigma des maschinellen Lernens wurde 1982 zusammen mit einem selbstlernfähigen neuronalen Netzwerk namens Crossbar Adaptive Array (CAA) eingeführt. ^{[ 57 ] [ 58 ]} Es bietet eine Lösung für das Problem des Lernens ohne externe Belohnung, indem es Emotionen als interne Belohnung einführt. Emotionen dienen der Zustandsbewertung eines selbstlernenden Agenten. Der CAA-Selbstlernalgorithmus berechnet in Form eines Crossbar-Netzwerks sowohl Entscheidungen über Handlungen als auch Emotionen (Gefühle) bezüglich deren Konsequenzen. Das System wird durch die Interaktion zwischen Kognition und Emotion gesteuert. ^{[ 59 ]} Der Selbstlernalgorithmus aktualisiert eine Speichermatrix W = ||w(a,s)||, sodass in jeder Iteration die folgende Routine des maschinellen Lernens ausgeführt wird:

1. in Situation s handle a
2. eine Konsequenzsituation erhalten s '
3. Emotion berechnen, die mit dem Befinden in der Konsequenzsituation einhergeht (v(s'))
4. Aktualisierung des Crossbar-Speichers w'(a,s) = w(a,s) + v(s')

Es handelt sich um ein System mit nur einem Input (Situation) und nur einem Output (Aktion bzw. Verhalten). Es gibt weder einen separaten Verstärkungs- noch einen Beratungs-Input aus der Umgebung. Der rückpropagierte Wert (sekundäre Verstärkung) ist die Emotion gegenüber der Konsequenzsituation. Das CAA existiert in zwei Umgebungen: der Verhaltensumgebung, in der es sich verhält, und der genetischen Umgebung, aus der es anfänglich und einmalig die initialen Emotionen bezüglich Situationen empfängt, denen es in der Verhaltensumgebung begegnen wird. Nach dem Empfang des Genomvektors (Artenvektors) aus der genetischen Umgebung lernt das CAA ein zielgerichtetes Verhalten in einer Umgebung, die sowohl erwünschte als auch unerwünschte Situationen enthält. ^{[ 60 ]}

Verschiedene Lernalgorithmen zielen darauf ab, bessere Repräsentationen der während des Trainings bereitgestellten Eingabedaten zu finden. ^{[ 61 ]} Klassische Beispiele hierfür sind die Hauptkomponentenanalyse und die Clusteranalyse. Merkmalslernalgorithmen, auch Repräsentationslernalgorithmen genannt, versuchen häufig, die Informationen ihrer Eingabedaten zu erhalten und sie gleichzeitig so zu transformieren, dass sie nutzbar werden. Dies geschieht oft als Vorverarbeitungsschritt vor der Klassifizierung oder Vorhersage. Diese Technik ermöglicht die Rekonstruktion der Eingabedaten aus der unbekannten Datenverteilung, ohne dabei Konfigurationen, die unter dieser Verteilung unplausibel sind, notwendigerweise genau abzubilden. Dadurch wird die manuelle Merkmalsentwicklung ersetzt und es einer Maschine ermöglicht, Merkmale zu lernen und sie zur Ausführung einer spezifischen Aufgabe zu nutzen.

Merkmalslernen kann überwacht oder unüberwacht erfolgen. Beim überwachten Merkmalslernen werden Merkmale anhand von gelabelten Eingabedaten gelernt. Beispiele hierfür sind künstliche neuronale Netze , mehrschichtige Perzeptronen und überwachtes Wörterbuchlernen . Beim unüberwachten Merkmalslernen werden Merkmale mit ungelabelten Eingabedaten gelernt. Beispiele hierfür sind Wörterbuchlernen, unabhängige Komponentenanalyse , Autoencoder , Matrixfaktorisierung ^{[ 62 ]} und verschiedene Formen des Clusterings . ^{[ 63 ] [ 64 ] [ 65 ]}

Manifold learning algorithms attempt to do so under the constraint that the learned representation is low-dimensional. Sparse coding algorithms attempt to do so under the constraint that the learned representation is sparse, meaning that the mathematical model has many zeros. Multilinear subspace learning algorithms aim to learn low-dimensional representations directly from tensor representations for multidimensional data, without reshaping them into higher-dimensional vectors.^[66]Deep learning algorithms discover multiple levels of representation, or a hierarchy of features, with higher-level, more abstract features defined in terms of (or generating) lower-level features. It has been argued that an intelligent machine learns a representation that disentangles the underlying factors of variation that explain the observed data.^[67]

Feature learning is motivated by the fact that machine learning tasks such as classification often require input that is mathematically and computationally convenient to process. However, real-world data such as images, video, and sensory data have not yielded attempts to algorithmically define specific features. An alternative is to discover such features or representations through examination, without relying on explicit algorithms.

Sparse dictionary learning is a feature learning method where a training example is represented as a linear combination of basis functions and assumed to be a sparse matrix. The method is strongly NP-hard and difficult to solve approximately.^[68] A popular heuristic method for sparse dictionary learning is the k-SVD algorithm. Sparse dictionary learning has been applied in several contexts. In classification, the problem is to determine the class to which a previously unseen training example belongs. For a dictionary where each class has already been built, a new training example is associated with the class that is best sparsely represented by the corresponding dictionary. Sparse dictionary learning has also been applied in image denoising. The key idea is that a clean image patch can be sparsely represented by an image dictionary, but the noise cannot.^[69]

Im Data-Mining bezeichnet Anomalieerkennung, auch Ausreißererkennung genannt, die Identifizierung seltener Elemente, Ereignisse oder Beobachtungen, die aufgrund ihrer signifikanten Abweichung von der Mehrheit der Daten Verdacht erregen. ^{[ 70 ]} Typischerweise repräsentieren diese Anomalien ein Problem wie Bankbetrug , einen strukturellen Defekt, medizinische Probleme oder Fehler in einem Text. Anomalien werden auch als Ausreißer , Neuheiten, Rauschen, Abweichungen und Ausnahmen bezeichnet . ^{[ 71 ]}

Insbesondere im Kontext von Missbrauchs- und Netzwerkangriffserkennung sind die interessanten Objekte oft nicht selten, sondern unerwartete Phasen der Inaktivität. Dieses Muster entspricht nicht der gängigen statistischen Definition eines Ausreißers als seltenes Objekt. Viele Ausreißererkennungsmethoden (insbesondere unüberwachte Algorithmen) versagen bei solchen Daten, sofern diese nicht entsprechend aggregiert werden. Ein Clusteranalyse-Algorithmus hingegen kann möglicherweise die durch diese Muster gebildeten Mikrocluster erkennen. ^{[ 72 ]}

Es gibt drei Hauptkategorien von Anomalieerkennungsverfahren. ^{[ 73 ]} Unüberwachte Anomalieerkennungsverfahren erkennen Anomalien in einem unbeschrifteten Testdatensatz unter der Annahme, dass die Mehrheit der Instanzen im Datensatz normal ist. Sie suchen nach Instanzen, die am wenigsten zum restlichen Datensatz passen. Überwachte Anomalieerkennungsverfahren benötigen einen als „normal“ und „abnormal“ gekennzeichneten Datensatz und beinhalten das Training eines Klassifikators (der Hauptunterschied zu vielen anderen statistischen Klassifizierungsproblemen liegt in der inhärenten Unausgewogenheit der Ausreißererkennung). Semi-überwachte Anomalieerkennungsverfahren erstellen ein Modell, das normales Verhalten repräsentiert, anhand eines gegebenen normalen Trainingsdatensatzes und testen dann die Wahrscheinlichkeit, mit der eine Testinstanz vom Modell generiert wird.

Das Roboterlernen ist von einer Vielzahl von Methoden des maschinellen Lernens inspiriert, angefangen beim überwachten Lernen, dem bestärkenden Lernen ^{[ 74 ] [ 75 ]} bis hin zum Meta-Lernen (z. B. MAML).

Assoziationsregellernen ist eine regelbasierte Methode des maschinellen Lernens zur Ermittlung von Beziehungen zwischen Variablen in großen Datenbanken. Ziel ist es, anhand eines Maßes für „Interessantheit“ starke Regeln in Datenbanken zu identifizieren. ^{[ 76 ]}

Regelbasiertes maschinelles Lernen ist ein Oberbegriff für alle Methoden des maschinellen Lernens, die „Regeln“ identifizieren, lernen oder weiterentwickeln, um Wissen zu speichern, zu verarbeiten oder anzuwenden. Das definierende Merkmal eines regelbasierten Algorithmus ist die Identifizierung und Nutzung einer Menge relationaler Regeln, die gemeinsam das vom System erfasste Wissen repräsentieren. Dies steht im Gegensatz zu anderen Algorithmen des maschinellen Lernens, die üblicherweise ein einzelnes Modell identifizieren, das universell auf jede Instanz angewendet werden kann, um eine Vorhersage zu treffen. ^{[ 77 ]} Zu den Ansätzen des regelbasierten maschinellen Lernens gehören lernende Klassifikatorsysteme , das Lernen von Assoziationsregeln und künstliche Immunsysteme .

Aufbauend auf dem Konzept starker Regeln führten Rakesh Agrawal , Tomasz Imieliński und Arun Swami Assoziationsregeln ein, um Regelmäßigkeiten zwischen Produkten in umfangreichen Transaktionsdaten von Kassensystemen in Supermärkten zu erkennen. ^{[ 78 ]} Beispielsweise würde eine in den Verkaufsdaten eines Supermarkts gefundene Regel darauf hindeuten, dass ein Kunde, der Zwiebeln und Kartoffeln zusammen kauft, wahrscheinlich auch Hackfleisch kauft. Solche Informationen können als Grundlage für Entscheidungen über Marketingaktivitäten wie Aktionspreise oder Produktplatzierungen dienen . Neben der Warenkorbanalyse werden Assoziationsregeln heute in Anwendungsbereichen wie Web-Nutzungsanalyse , Angriffserkennung , kontinuierlicher Produktion und Bioinformatik eingesetzt . Im Gegensatz zur Sequenzanalyse berücksichtigt das Lernen von Assoziationsregeln typischerweise nicht die Reihenfolge der Artikel, weder innerhalb einer Transaktion noch transaktionsübergreifend. ${\displaystyle \{\mathrm {Zwiebeln,Kartoffeln} \}\Rightarrow \{\mathrm {Burger} \}}$

Lernende Klassifikatorsysteme (LCS) sind eine Familie regelbasierter Algorithmen des maschinellen Lernens, die eine Entdeckungskomponente, typischerweise einen genetischen Algorithmus , mit einer Lernkomponente kombinieren, die entweder überwachtes , bestärkendes oder unüberwachtes Lernen durchführt . Sie zielen darauf ab, eine Menge kontextabhängiger Regeln zu identifizieren, die gemeinsam Wissen stückweise speichern und anwenden, um Vorhersagen zu treffen. ^{[ 79 ]}

Induktive logische Programmierung (ILP) ist ein Ansatz zum Regellernen, der logische Programmierung als einheitliche Repräsentation für Eingabebeispiele, Hintergrundwissen und Hypothesen nutzt. Ausgehend von einer Kodierung des bekannten Hintergrundwissens und einer Menge von Beispielen, die als logische Faktendatenbank dargestellt sind, leitet ein ILP-System ein hypothetisches logisches Programm ab, das ausschließlich positive und keine negativen Beispiele enthält . Induktive Programmierung ist ein verwandtes Gebiet, das beliebige Programmiersprachen zur Repräsentation von Hypothesen (und nicht nur logische Programmierung) betrachtet, beispielsweise funktionale Programme .

Induktive logische Programmierung ist besonders nützlich in der Bioinformatik und der Verarbeitung natürlicher Sprache . Gordon Plotkin und Ehud Shapiro legten die theoretischen Grundlagen für induktives maschinelles Lernen im logischen Kontext. ^{[ 80 ] [ 81 ] [ 82 ]} Shapiro entwickelte 1981 ihre erste Implementierung (Model Inference System): ein Prolog- Programm, das logische Programme induktiv aus positiven und negativen Beispielen ableitete. ^{[ 83 ]} Der Begriff „induktiv “ bezieht sich hier auf die philosophische Induktion, die eine Theorie zur Erklärung beobachteter Fakten nahelegt, und nicht auf die mathematische Induktion , die eine Eigenschaft für alle Elemente einer geordneten Menge beweist.

AEin Modell des maschinellen Lernens ist einmathematisches Modell, das, sobald es anhand eines gegebenen Datensatzes trainiert wurde, zur Vorhersage oder Klassifizierung neuer Daten verwendet werden kann. Während des Trainings passt ein Lernalgorithmus iterativ die internen Parameter des Modells an, um Fehler in den Vorhersagen zu minimieren. ^{[ 84 ]} Im weiteren Sinne kann der Begriff „Modell“ verschiedene Spezifizierungsstufen bezeichnen, von einer allgemeinen Klasse von Modellen und den zugehörigen Lernalgorithmen bis hin zu einem vollständig trainierten Modell mit allen optimierten internen Parametern. ^{[ 85 ]}

Für Systeme des maschinellen Lernens wurden verschiedene Modelltypen verwendet und erforscht; die Auswahl des besten Modells für eine Aufgabe wird als Modellauswahl bezeichnet .

Künstliche neuronale Netze (KNN) oder konnektionistische Systeme sind Rechensysteme, die lose von den biologischen neuronalen Netzen im Gehirn von Tieren inspiriert sind . Solche Systeme „lernen“ Aufgaben anhand von Beispielen, in der Regel ohne mit aufgabenspezifischen Regeln programmiert zu werden.

Ein künstliches neuronales Netz (KNN) ist ein Modell, das auf einer Sammlung verbundener Einheiten oder Knoten, sogenannten „ künstlichen Neuronen “, basiert und die Neuronen eines biologischen Gehirns nachbildet . Jede Verbindung kann, ähnlich den Synapsen im Gehirn, Informationen, ein „Signal“, von einem künstlichen Neuron zum nächsten übertragen. Ein künstliches Neuron, das ein Signal empfängt, kann es verarbeiten und anschließend weitere, mit ihm verbundene künstliche Neuronen signalisieren. In gängigen KNN-Implementierungen ist das Signal an einer Verbindung zwischen künstlichen Neuronen eine reelle Zahl , und die Ausgabe jedes künstlichen Neurons wird durch eine nichtlineare Funktion der Summe seiner Eingaben berechnet. Die Verbindungen zwischen künstlichen Neuronen werden als „Kanten“ bezeichnet. Künstliche Neuronen und Kanten besitzen typischerweise ein Gewicht , das sich im Laufe des Lernprozesses anpasst. Das Gewicht erhöht oder verringert die Signalstärke an einer Verbindung. Künstliche Neuronen können einen Schwellenwert haben, sodass das Signal nur dann gesendet wird, wenn das Gesamtsignal diesen Schwellenwert überschreitet. Typischerweise sind künstliche Neuronen in Schichten zusammengefasst. Verschiedene Schichten können unterschiedliche Transformationen ihrer Eingaben durchführen. Die Signale durchlaufen die Schichten von der ersten Schicht (der Eingabeschicht) bis zur letzten Schicht (der Ausgabeschicht), gegebenenfalls nachdem sie die Schichten mehrmals durchlaufen haben.

Das ursprüngliche Ziel des ANN-Ansatzes war die Problemlösung nach dem Vorbild des menschlichen Gehirns . Im Laufe der Zeit verlagerte sich der Fokus jedoch auf die Ausführung spezifischer Aufgaben, was zu Abweichungen von biologischen Modellen führte . Künstliche neuronale Netze werden für eine Vielzahl von Aufgaben eingesetzt, darunter Computer Vision , Spracherkennung , maschinelle Übersetzung , Filterung sozialer Netzwerke , Brett- und Videospiele sowie medizinische Diagnostik .

Deep Learning besteht aus mehreren verborgenen Schichten in einem künstlichen neuronalen Netzwerk. Dieser Ansatz versucht, die Art und Weise zu modellieren, wie das menschliche Gehirn Licht und Schall zu Sehen und Hören verarbeitet. Zu den erfolgreichen Anwendungen von Deep Learning gehören Computer Vision und Spracherkennung. ^{[ 86 ]}

Das Lernen mit Entscheidungsbäumen nutzt einen Entscheidungsbaum als Vorhersagemodell , um von Beobachtungen zu einem Objekt (dargestellt in den Zweigen) zu Schlussfolgerungen über dessen Zielwert (dargestellt in den Blättern) zu gelangen. Es ist einer der prädiktiven Modellierungsansätze, die in Statistik, Data Mining und maschinellem Lernen Anwendung finden. Baummodelle, bei denen die Zielvariable diskrete Werte annehmen kann, werden als Klassifikationsbäume bezeichnet. In diesen Baumstrukturen repräsentieren die Blätter Klassenbezeichnungen und die Zweige Merkmalskombinationen , die zu diesen Klassenbezeichnungen führen. Entscheidungsbäume, bei denen die Zielvariable kontinuierliche Werte (typischerweise reelle Zahlen ) annehmen kann, werden als Regressionsbäume bezeichnet. In der Entscheidungsanalyse kann ein Entscheidungsbaum verwendet werden, um Entscheidungen und Entscheidungsprozesse visuell und explizit darzustellen . Im Data Mining beschreibt ein Entscheidungsbaum Daten, der resultierende Klassifikationsbaum kann jedoch als Grundlage für Entscheidungen dienen.

Random Forest Regression (RFR) gehört zur Gruppe der entscheidungsbaumbasierten Modelle . RFR ist ein Ensemble-Lernverfahren, das mehrere Entscheidungsbäume erstellt und deren Vorhersagen mittelt, um die Genauigkeit zu verbessern und Überanpassung zu vermeiden. Zum Erstellen der Entscheidungsbäume verwendet RFR Bootstrapping; das heißt, jeder Entscheidungsbaum wird mit zufälligen Daten aus dem Trainingsdatensatz trainiert. Diese zufällige Auswahl der Trainingsdaten ermöglicht es dem Modell, verzerrte Vorhersagen zu reduzieren und eine höhere Genauigkeit zu erzielen. RFR generiert unabhängige Entscheidungsbäume und kann sowohl mit Daten mit einem einzelnen Ausgabewert als auch mit Aufgaben mit mehreren Regressoren arbeiten. Dadurch ist RFR für verschiedene Anwendungen geeignet. ^{[ 87 ] [ 88 ]}

Support-Vektor-Maschinen (SVMs), auch Support-Vektor-Netzwerke genannt, sind eine Gruppe verwandter überwachter Lernverfahren zur Klassifizierung und Regression. Ausgehend von einer Menge Trainingsbeispielen, die jeweils einer von zwei Kategorien zugeordnet sind, erstellt ein SVM-Trainingsalgorithmus ein Modell, das vorhersagt, ob ein neues Beispiel in eine der Kategorien fällt. ^{[ 89 ]} Ein SVM-Trainingsalgorithmus ist ein nicht- probabilistischer , binärer , linearer Klassifikator , obwohl Methoden wie die Platt-Skalierung existieren, um SVMs in einem probabilistischen Klassifizierungsszenario einzusetzen. Neben der linearen Klassifizierung können SVMs mithilfe des sogenannten Kernel-Tricks effizient eine nicht-lineare Klassifizierung durchführen , indem sie ihre Eingaben implizit in hochdimensionale Merkmalsräume abbilden.

Die Regressionsanalyse umfasst eine Vielzahl statistischer Methoden zur Schätzung des Zusammenhangs zwischen Eingangsvariablen und ihren zugehörigen Merkmalen. Die gebräuchlichste Form ist die lineare Regression , bei der eine Gerade so berechnet wird, dass sie die gegebenen Daten nach einem mathematischen Kriterium wie der Methode der kleinsten Quadrate optimal annähert . Letztere wird häufig durch Regularisierungsverfahren wie die Ridge-Regression erweitert , um Überanpassung und Verzerrungen zu reduzieren . Bei nichtlinearen Problemen kommen gängige Modelle wie die Polynomregression (z. B. zur Trendlinienanpassung in Microsoft Excel ^{[ 90 ]} ), die logistische Regression (häufig in der statistischen Klassifizierung verwendet ) oder auch die Kernelregression zum Einsatz. Letztere führt Nichtlinearität ein, indem sie den Kernel-Trick nutzt , um Eingangsvariablen implizit in einen höherdimensionalen Raum abzubilden.

Die multivariate lineare Regression erweitert das Konzept der linearen Regression, um mehrere abhängige Variablen gleichzeitig zu berücksichtigen. Dieser Ansatz schätzt die Beziehungen zwischen einer Reihe von Eingangsvariablen und mehreren Ausgangsvariablen durch die Anpassung eines mehrdimensionalen linearen Modells. Er ist besonders nützlich in Szenarien, in denen die Ergebnisse voneinander abhängen oder gemeinsame zugrunde liegende Muster aufweisen, wie beispielsweise bei der Vorhersage mehrerer Wirtschaftsindikatoren oder der Bildrekonstruktion ^{[ 91 ]} , die naturgemäß mehrdimensional sind.

Ein Bayes'sches Netz, auch Glaubensnetz oder gerichtetes azyklisches Graphmodell genannt, ist ein probabilistisches grafisches Modell , das eine Menge von Zufallsvariablen und deren bedingte Unabhängigkeit mithilfe eines gerichteten azyklischen Graphen (DAG) darstellt. Beispielsweise kann ein Bayes'sches Netz die Wahrscheinlichkeitsbeziehungen zwischen Krankheiten und Symptomen abbilden. Ausgehend von den Symptomen kann das Netz die Wahrscheinlichkeiten für das Auftreten verschiedener Krankheiten berechnen. Es existieren effiziente Algorithmen für Inferenz und Lernen. Bayes'sche Netze, die Sequenzen von Variablen wie Sprachsignale oder Proteinsequenzen modellieren, werden als dynamische Bayes'sche Netze bezeichnet . Verallgemeinerungen von Bayes'schen Netzen, die Entscheidungsprobleme unter Unsicherheit darstellen und lösen können, werden als Einflussdiagramme bezeichnet .

Ein Gaußscher Prozess ist ein stochastischer Prozess , bei dem jede endliche Menge der Zufallsvariablen im Prozess eine multivariate Normalverteilung besitzt und auf einer vordefinierten Kovarianzfunktion oder einem Kernel basiert, der modelliert, wie Paare von Punkten in Abhängigkeit von ihren Positionen miteinander in Beziehung stehen.

Ausgehend von einer Menge beobachteter Punkte oder Eingabe-Ausgabe-Beispielen kann die Verteilung der (nicht beobachteten) Ausgabe eines neuen Punktes als Funktion seiner Eingabedaten direkt berechnet werden, indem man die beobachteten Punkte und die Kovarianzen zwischen diesen Punkten und dem neuen, nicht beobachteten Punkt betrachtet.

Gaußprozesse sind beliebte Ersatzmodelle in der Bayes'schen Optimierung, die zur Hyperparameteroptimierung eingesetzt werden .

Ein genetischer Algorithmus (GA) ist ein Suchalgorithmus und eine heuristische Technik, die den Prozess der natürlichen Selektion nachahmt . Er nutzt Methoden wie Mutation und Rekombination , um neue Genotypen zu generieren und so gute Lösungen für ein gegebenes Problem zu finden. Im maschinellen Lernen wurden genetische Algorithmen in den 1980er und 1990er Jahren eingesetzt. ^{[ 93 ] [ 94 ]} Umgekehrt wurden Techniken des maschinellen Lernens verwendet, um die Leistung genetischer und evolutionärer Algorithmen zu verbessern . ^{[ 95 ]}

Die Theorie der Glaubensfunktionen, auch Evidenztheorie oder Dempster-Shafer-Theorie genannt, ist ein allgemeines Rahmenwerk für das Schließen unter Unsicherheit und weist Verbindungen zu anderen Rahmenwerken wie der Wahrscheinlichkeitstheorie , der Möglichkeitstheorie und der Theorie ungenauer Wahrscheinlichkeit auf . Diese theoretischen Rahmenwerke können als eine Art Lernalgorithmus betrachtet werden und weisen analoge Eigenschaften hinsichtlich der Kombination von Evidenz auf (z. B. Dempsters Kombinationsregel), ähnlich wie in einem auf Wahrscheinlichkeitsfunktionen basierenden Bayes'schen Ansatz Wahrscheinlichkeiten kombiniert werden. ^{[ 96 ]} Im Vergleich zu Bayes'schen Ansätzen zur Berücksichtigung von Unwissenheit und Unsicherheitsquantifizierung bestehen jedoch einige Einschränkungen dieser Glaubensfunktionen . Die im Bereich des maschinellen Lernens implementierten Ansätze nutzen typischerweise einen Fusionsansatz verschiedener Ensemble-Methoden , um die Entscheidungsgrenze des Lernalgorithmus , geringe Stichproben und Probleme mit mehrdeutigen Klassen besser zu bewältigen, mit denen Standardansätze des maschinellen Lernens oft Schwierigkeiten haben. ^{[ 97 ] [ 6 ]} Die Rechenkomplexität dieser Algorithmen hängt jedoch von der Anzahl der Aussagen (Klassen) ab und kann im Vergleich zu anderen Ansätzen des maschinellen Lernens zu einer wesentlich längeren Rechenzeit führen.

Regelbasiertes maschinelles Lernen (RBML) ist ein Teilgebiet des maschinellen Lernens, das automatisch Regeln aus Daten erkennt und lernt. Es liefert interpretierbare Modelle und ist daher nützlich für Entscheidungsprozesse in Bereichen wie dem Gesundheitswesen, der Betrugserkennung und der Cybersicherheit. Zu den wichtigsten RBML-Techniken gehören lernende Klassifikatorsysteme ^{[ 98 ]} , das Lernen von Assoziationsregeln ^{[ 99 ]} , künstliche Immunsysteme [ ^{100 ]} und ähnliche Modelle. Diese Methoden extrahieren Muster aus Daten und entwickeln Regeln im Laufe der Zeit weiter ^.

Typischerweise benötigen Modelle des maschinellen Lernens eine große Menge zuverlässiger Daten, um präzise Vorhersagen treffen zu können. Beim Training eines solchen Modells müssen Entwickler daher eine große und repräsentative Stichprobe von Daten sammeln. Die Trainingsdaten können vielfältig sein, beispielsweise Textkorpora , Bildersammlungen, Sensordaten oder Daten einzelner Nutzer eines Dienstes. Beim Training eines Modells ist Überanpassung (Overfitting) unbedingt zu beachten. Modelle, die auf verzerrten oder nicht validierten Daten basieren, können zu fehlerhaften oder unerwünschten Vorhersagen führen. Verzerrte Modelle können schädliche Folgen haben und somit negative Auswirkungen auf Gesellschaft oder Ziele verstärken. Algorithmische Verzerrungen können entstehen, wenn die Daten nicht optimal für das Training aufbereitet wurden. Die Ethik des maschinellen Lernens entwickelt sich zu einem eigenständigen Forschungsgebiet und wird zunehmend in die Arbeit von Entwicklerteams integriert.

Föderiertes Lernen ist eine angepasste Form der verteilten künstlichen Intelligenz, um Modelle des maschinellen Lernens zu trainieren. Durch die Dezentralisierung des Trainingsprozesses bleibt die Privatsphäre der Nutzer gewahrt, da ihre Daten nicht an einen zentralen Server gesendet werden müssen. Dies erhöht zudem die Effizienz, indem der Trainingsprozess auf viele Geräte verteilt wird. Beispielsweise nutzt Gboard föderiertes maschinelles Lernen, um Vorhersagemodelle für Suchanfragen auf den Mobiltelefonen der Nutzer zu trainieren, ohne einzelne Suchanfragen an Google zurücksenden zu müssen . ^{[ 101 ]}

Maschinelles Lernen hat viele Anwendungsgebiete, darunter:

Im Jahr 2006 veranstaltete der Mediendienstleister Netflix den ersten „ Netflix Prize “, um ein Programm zu finden, das Nutzerpräferenzen besser vorhersagen und die Genauigkeit des bestehenden Cinematch-Filmempfehlungsalgorithmus um mindestens 10 % verbessern sollte. Ein gemeinsames Team von Forschern der AT&T Labs – Research in Zusammenarbeit mit den Teams von Big Chaos und Pragmatic Theory entwickelte ein Ensemble-Modell und gewann damit 2009 den Hauptpreis in Höhe von einer Million US-Dollar. ^{[ 105 ]} Kurz nach der Preisverleihung erkannte Netflix, dass die Bewertungen der Zuschauer nicht die besten Indikatoren für deren Sehgewohnheiten waren („alles ist eine Empfehlung“) und passte seinen Empfehlungsalgorithmus entsprechend an. ^{[ 106 ]} Im Jahr 2010 berichtete das Wall Street Journal über den Einsatz von maschinellem Lernen durch Rebellion Research zur Vorhersage der Finanzkrise von 2008 . ^{[ 107 ]} Im Jahr 2012 prognostizierte Vinod Khosla , Mitbegründer von Sun Microsystems , dass 80 % der Arztstellen in den nächsten zwei Jahrzehnten durch automatisierte, maschinelle Lernverfahren für medizinische Diagnosen verloren gehen würden. ^{[ 108 ]} 2014 wurde berichtet, dass ein Algorithmus für maschinelles Lernen in der Kunstgeschichte zur Untersuchung von Gemälden eingesetzt wurde und dabei möglicherweise bisher unbekannte Einflüsse auf Künstler aufgedeckt hat. ^{[ 109 ]} 2019 veröffentlichte Springer Nature das erste Forschungsbuch, das mithilfe von maschinellem Lernen erstellt wurde. ^{[ 110 ]} Im Jahr 2020 wurde maschinelles Lernen zur Unterstützung von Diagnosen und Forschern bei der Entwicklung eines Heilmittels gegen COVID-19 eingesetzt. ^{[ 111 ]} Kürzlich wurde maschinelles Lernen angewendet, um das umweltfreundliche Verhalten von Reisenden vorherzusagen. ^{[ 112 ]} Kürzlich wurde maschinelles Lernen auch eingesetzt, um die Leistung und das thermische Verhalten von Smartphones basierend auf der Interaktion des Nutzers mit dem Gerät zu optimieren. ^{[ 113 ] [ 114 ] [ 115 ]} Bei korrekter Anwendung können Algorithmen des maschinellen Lernens (MLAs) eine Vielzahl von Unternehmensmerkmalen nutzen, um Aktienrenditen ohne Überanpassung vorherzusagen . Durch effektives Feature Engineering und die Kombination von Prognosen können MLAs Ergebnisse erzielen, die die von einfachen linearen Verfahren wie der OLS- Regression deutlich übertreffen . ^{[ 116 ]}

Jüngste Fortschritte im Bereich des maschinellen Lernens haben sich auch auf die Quantenchemie ausgeweitet, wo neuartige Algorithmen nun die Vorhersage von Lösungsmitteleffekten auf chemische Reaktionen ermöglichen und Chemikern damit neue Werkzeuge zur Verfügung stellen, um experimentelle Bedingungen für optimale Ergebnisse anzupassen. ^{[ 117 ]}

Maschinelles Lernen entwickelt sich zu einem nützlichen Werkzeug, um Evakuierungsentscheidungen bei großen und kleinen Katastrophen zu untersuchen und vorherzusagen. Verschiedene Lösungen wurden getestet, um vorherzusagen, ob und wann sich Bewohner während Waldbränden und Hurrikanen zur Evakuierung entscheiden. ^{[ 118 ] [ 119 ] [ 120 ]} Andere Anwendungen konzentrieren sich auf Entscheidungen vor einer Evakuierung bei Gebäudebränden. ^{[ 121 ] [ 122 ]}

Obwohl maschinelles Lernen in einigen Bereichen zu grundlegenden Veränderungen geführt hat, liefern Programme für maschinelles Lernen häufig nicht die erwarteten Ergebnisse. ^{[ 123 ] [ 124 ] [ 125 ]} Die Gründe hierfür sind vielfältig: fehlende (geeignete) Daten, fehlender Datenzugriff, Datenverzerrungen, Datenschutzprobleme, ungeeignete Aufgaben und Algorithmen, ungeeignete Werkzeuge und Personen, Ressourcenmangel sowie Evaluierungsprobleme. ^{[ 126 ]}

Die „ Black-Box-Theorie “ stellt eine weitere, bedeutende Herausforderung dar. Der Begriff „Black Box“ bezeichnet eine Situation, in der der Algorithmus, der ein Ergebnis erzeugt, vollständig undurchsichtig ist. Das bedeutet, dass selbst die Entwickler einer Anwendung das vom System aus den Daten extrahierte Muster nicht nachvollziehen können. ^{[ 127 ]} Der Sonderausschuss des House of Lords erklärte, dass ein solches „intelligentes System“, das „erhebliche Auswirkungen auf das Leben eines Einzelnen“ haben könnte, nur dann akzeptabel sei, wenn es „eine vollständige und zufriedenstellende Erklärung für seine Entscheidungen“ liefere. ^{[ 127 ]}

Im Jahr 2018 erkannte ein autonomes Fahrzeug von Uber einen Fußgänger nicht, der bei einem Zusammenstoß ums Leben kam. ^{[ 128 ]} Versuche, maschinelles Lernen im Gesundheitswesen mit dem IBM Watson- System einzusetzen, blieben trotz jahrelanger Entwicklung und Milliardeninvestitionen erfolglos. ^{[ 129 ] [ 130 ]} Berichten zufolge reagierte der Bing Chat -Bot von Microsoft mit feindseligen und beleidigenden Antworten gegenüber seinen Nutzern. ^{[ 131 ]}

Maschinelles Lernen wurde als Strategie eingesetzt, um die Evidenz im Zusammenhang mit systematischen Reviews zu aktualisieren und die erhöhte Belastung der Reviewer angesichts der wachsenden Menge biomedizinischer Literatur zu bewältigen. Obwohl es sich mithilfe von Trainingsdatensätzen verbessert hat, ist es noch nicht ausreichend entwickelt, um die Arbeitsbelastung zu reduzieren, ohne die für die Forschung notwendige Sensitivität einzuschränken. ^{[ 132 ]}

Erklärbare KI (XAI), auch interpretierbare KI oder erklärbares maschinelles Lernen (XML) genannt, ist künstliche Intelligenz (KI), deren Entscheidungen und Vorhersagen für Menschen nachvollziehbar sind. ^{[ 133 ]} Sie steht im Gegensatz zum „Black-Box“-Konzept des maschinellen Lernens, bei dem selbst die Entwickler nicht erklären können, warum eine KI zu einer bestimmten Entscheidung gelangt ist. ^{[ 134 ]} Indem XAI die mentalen Modelle der Nutzer KI-gestützter Systeme verfeinert und deren Fehlvorstellungen abbaut, verspricht sie, deren Effektivität zu steigern. XAI könnte somit eine Umsetzung des gesellschaftlichen Rechts auf Erklärung darstellen.

Die Festlegung auf eine ungeeignete, übermäßig komplexe Theorie, die so angepasst wurde , dass sie alle bisherigen Trainingsdaten abdeckt, wird als Überanpassung bezeichnet. Viele Systeme versuchen, Überanpassung zu reduzieren, indem sie eine Theorie entsprechend ihrer Anpassungsgüte an die Daten belohnen, sie aber entsprechend ihrer Komplexität bestrafen. ^{[ 135 ]}

Ein von Sora erstelltes Video des Glenfinnan-Viadukts in Schottland zeigt fälschlicherweise: ein zweites Gleis , Züge, die rechts statt links fahren , einen zweiten Schornstein in der Darstellung des Zuges „The Jacobite“ , inkonsistente Wagenlängen, unnatürliche Mengen an Bildrauschen und einen Wagen, der sich in der Kurve entlang seiner Länge biegt.

Das echte Glenfinnan-Viadukt mit dem Jakobiten darauf

Im Bereich der künstlichen Intelligenz (KI) bezeichnet man als Halluzination oder künstliche Halluzination (auch als Bullshitting ^{[ 144 ] [ 145 ]} , Konfabulation ^{[ 146 ]} oder Wahnvorstellung ^{[ 147 ]} bezeichnet ) eine von KI generierte Antwort, die falsche oder irreführende Informationen als Fakten präsentiert . ^{[ 148 ]} Der Begriff stellt eine lose Analogie zur menschlichen Psychologie her, wo eine Halluzination typischerweise falsche Wahrnehmungen beinhaltet .

Ein Chatbot , der beispielsweise auf großen Sprachmodellen (LLMs) wie ChatGPT basiert , kann plausibel klingende, zufällige Falschinformationen in seine generierten Inhalte einbetten. Das Erkennen und Beheben von Fehlern und Halluzinationen stellt eine erhebliche Herausforderung für den praktischen Einsatz und die Zuverlässigkeit von LLMs in kritischen Anwendungsbereichen wie Chipdesign, Lieferkettenlogistik und medizinischer Diagnostik dar. ^{[ 149 ] [ 150 ] [ 151 ]} Einige Softwareentwickler und Statistiker kritisieren den Begriff „KI-Halluzination“, da er Computer unangemessen vermenschlicht . ^{[ 152 ] [ 153 ]} Symbolische Modelle der künstlichen Intelligenz erzeugen im Gegensatz zu großen Sprachmodellen in der Regel keine Halluzinationen. ^{[ 154 ]}

Lernende können auch enttäuscht sein, wenn sie „die falsche Lektion lernen“. Ein einfaches Beispiel: Ein Bildklassifikator, der nur mit Bildern von braunen Pferden und schwarzen Katzen trainiert wurde, könnte fälschlicherweise annehmen, dass alle braunen Flecken wahrscheinlich Pferde darstellen. ^{[ 155 ]} In der Praxis treffen Bildklassifikatoren – anders als Menschen – ihre Entscheidungen oft nicht primär auf Grundlage der räumlichen Beziehungen zwischen Bildkomponenten. Sie lernen vielmehr Beziehungen zwischen Pixeln, die dem Menschen verborgen bleiben, aber dennoch mit Bildern bestimmter realer Objekte korrelieren. Die Veränderung dieser Muster in einem legitimen Bild kann zu „adversariellen“ Bildern führen, die das System falsch klassifiziert. ^{[ 156 ] [ 157 ]}

Adversarial Vulnerabilitys können auch in nichtlinearen Systemen oder durch nicht-musterhafte Störungen entstehen. Bei manchen Systemen lässt sich die Ausgabe verändern, indem man lediglich ein einziges, adversariell ausgewähltes Pixel ändert. ^{[ 158 ]} Modelle des maschinellen Lernens sind häufig anfällig für Manipulation oder Umgehung durch adversarial machine learning . ^{[ 159 ]}

Forscher haben gezeigt, wie Hintertüren unbemerkt in Klassifizierungsmodelle des maschinellen Lernens (z. B. für die Kategorien „Spam“ und „Kein Spam“ von Beiträgen) integriert werden können, die häufig von Dritten entwickelt oder trainiert werden. Diese Dritten können die Klassifizierung beliebiger Eingaben ändern, selbst wenn eine gewisse Daten-/Softwaretransparenz besteht, möglicherweise einschließlich eines White-Box-Zugriffs . ^{[ 160 ] [ 161 ] [ 162 ]}

Die Klassifizierung von Modellen des maschinellen Lernens kann durch Genauigkeitsschätzungsverfahren wie die Holdout -Methode validiert werden. Dabei werden die Daten in einen Trainings- und einen Testdatensatz aufgeteilt (üblicherweise 2/3 Trainingsdatensatz und 1/3 Testdatensatz) und die Leistung des trainierten Modells anhand des Testdatensatzes bewertet. Im Vergleich dazu partitioniert die K-fache Kreuzvalidierung die Daten zufällig in K Teilmengen. Anschließend werden K Experimente durchgeführt, wobei jeweils eine Teilmenge zur Evaluierung und die verbleibenden K-1 Teilmengen zum Trainieren des Modells verwendet werden. Zusätzlich zu den Holdout- und Kreuzvalidierungsverfahren kann auch das Bootstrap -Verfahren , das n Instanzen mit Zurücklegen aus dem Datensatz zieht, zur Bewertung der Modellgenauigkeit eingesetzt werden. ^{[ 163 ]}

Neben der Gesamtgenauigkeit berichten Forscher häufig über Sensitivität und Spezifität , d. h. die Rate richtig positiver (TPR) bzw. richtig negativer (TNR) Ergebnisse. Ebenso werden mitunter die Rate falsch positiver (FPR) und falsch negativer (FNR) Ergebnisse angegeben. Diese Raten sind jedoch Verhältnisse, die Zähler und Nenner nicht offenlegen. Die Receiver Operating Characteristic (ROC) und die zugehörige Fläche unter der ROC-Kurve (AUC) bieten zusätzliche Instrumente zur Bewertung von Klassifikationsmodellen. Ein höherer AUC-Wert korreliert mit einem leistungsfähigeren Modell. ^{[ 164 ]}

Verschiedene Ansätze des maschinellen Lernens können unter unterschiedlichen Datenverzerrungen leiden. Ein speziell auf Basis aktueller Kundendaten trainiertes System kann möglicherweise die Bedürfnisse neuer Kundengruppen, die in den Trainingsdaten nicht repräsentiert sind, nicht vorhersagen. Beim Training mit von Menschen erstellten Daten übernimmt das maschinelle Lernen mit hoher Wahrscheinlichkeit die in der Gesellschaft bereits vorhandenen, sowohl systembedingten als auch unbewussten Vorurteile. ^{[ 167 ]}

Systeme, die mit verzerrten Datensätzen trainiert werden, können diese Verzerrungen bei der Anwendung selbst aufweisen (algorithmische Verzerrung) und somit kulturelle Vorurteile digitalisieren. ^{[ 168 ]} Beispielsweise stellte die britische Kommission für Rassengleichheit 1988 fest, dass die St. George’s Medical School ein Computerprogramm verwendete, das mit Daten früherer Zulassungsmitarbeiter trainiert worden war. Dieses Programm hatte fast 60 Bewerber abgelehnt, die entweder Frauen waren oder nicht-europäisch klingende Namen hatten. ^{[ 167 ]} Die Verwendung von Daten zur Personalauswahl eines Unternehmens mit rassistischen Einstellungspraktiken kann dazu führen, dass ein System für maschinelles Lernen diese Verzerrung reproduziert, indem es Bewerber anhand ihrer Ähnlichkeit mit früheren erfolgreichen Bewerbern bewertet. ^{[ 169 ] [ 170 ]} Ein weiteres Beispiel ist der Vorhersagealgorithmus des Unternehmens Geolitica , der nach dem Training mit historischen Kriminalitätsdaten zu „unverhältnismäßig hoher Polizeipräsenz in einkommensschwachen und Minderheitengemeinschaften“ führte. ^{[ 171 ]}

Während die verantwortungsvolle Datenerfassung und Dokumentation der von einem System verwendeten algorithmischen Regeln als kritischer Bestandteil des maschinellen Lernens gilt, machen einige Forscher die mangelnde Beteiligung und Repräsentation von Minderheiten im Bereich der KI für die Anfälligkeit des maschinellen Lernens für Verzerrungen verantwortlich. ^{[ 172 ]} Tatsächlich machen Frauen laut einer Studie der Computing Research Association aus dem Jahr 2021 nur 16,1 % aller KI-spezialisierten Dozenten an verschiedenen Universitäten weltweit aus. ^{[ 173 ]} Darüber hinaus gaben unter den US-amerikanischen Doktoranden im Bereich KI 45 % an, weiß zu sein, 22,4 % asiatisch, 3,2 % hispanisch und 2,4 % afroamerikanisch, was den Mangel an Diversität im Bereich der KI weiter verdeutlicht. ^{[ 173 ]}

Es hat sich gezeigt, dass aus Daten trainierte Sprachmodelle menschenähnliche Verzerrungen aufweisen. ^{[ 174 ] [ 175 ]} Da menschliche Sprachen Verzerrungen enthalten, werden Maschinen, die mit Sprachkorpora trainiert werden, diese zwangsläufig ebenfalls erlernen. ^{[ 176 ] [ 177 ]} Im Jahr 2016 testete Microsoft Tay , einen Chatbot , der von Twitter lernte, und dieser eignete sich schnell rassistische und sexistische Ausdrücke an. ^{[ 178 ]}

In einem Experiment der investigativen Journalismusorganisation ProPublica stufte ein Algorithmus für maschinelles Lernen, der die Rückfallquoten von Gefangenen analysierte, schwarze Angeklagte fälschlicherweise doppelt so häufig als Hochrisikofälle ein wie weiße Angeklagte. ^{[ 171 ]} Im Jahr 2015 kennzeichnete Google Fotos zwei schwarze Personen fälschlicherweise als Gorillas, was für Kontroversen sorgte. Die Kennzeichnung als Gorilla wurde daraufhin entfernt, und auch 2023 konnte das System Gorillas noch nicht erkennen. ^{[ 179 ]} Ähnliche Probleme bei der Erkennung nicht-weißer Personen wurden in vielen anderen Systemen festgestellt. ^{[ 180 ]}

Aufgrund dieser Herausforderungen könnte die effektive Nutzung von maschinellem Lernen in anderen Bereichen länger dauern. ^{[ 181 ]} Die Sorge um Fairness im maschinellen Lernen, also die Reduzierung von Verzerrungen und die Förderung seines Einsatzes zum Wohle der Menschheit, wird zunehmend von KI-Wissenschaftlern geäußert, darunter auch von Fei-Fei Li , die sagte: „KI ist nicht künstlich. Sie ist von Menschen inspiriert, von Menschen geschaffen und – was am wichtigsten ist – sie beeinflusst Menschen. Sie ist ein mächtiges Werkzeug, das wir erst allmählich verstehen, und das ist eine große Verantwortung.“ ^{[ 182 ]}

Unter Gesundheitsexperten bestehen Bedenken, dass diese Systeme nicht im öffentlichen Interesse, sondern als Gewinnmaschinen konzipiert sein könnten. Dies gilt insbesondere für die Vereinigten Staaten, wo seit Langem ein ethisches Dilemma zwischen der Verbesserung der Gesundheitsversorgung und der gleichzeitigen Gewinnmaximierung besteht. Beispielsweise könnten die Algorithmen so gestaltet sein, dass Patienten unnötige Untersuchungen oder Medikamente erhalten, an denen die Eigentümer der Algorithmen Anteile besitzen. Maschinelles Lernen im Gesundheitswesen birgt das Potenzial, Fachkräften ein zusätzliches Werkzeug für Diagnose, Medikation und Therapieplanung an die Hand zu geben. Dies erfordert jedoch, dass diese potenziellen Verzerrungen minimiert werden. ^{[ 183 ]}

Seit den 2010er Jahren haben Fortschritte sowohl bei Algorithmen des maschinellen Lernens als auch bei Computerhardware zu effizienteren Methoden für das Training tiefer neuronaler Netze (einem speziellen Teilgebiet des maschinellen Lernens) geführt, die viele Schichten nichtlinearer verborgener Einheiten enthalten. ^{[ 184 ]} Bis 2019 hatten Grafikprozessoren ( GPUs ), oft mit KI-spezifischen Erweiterungen, CPUs als dominierende Methode für das Training groß angelegter kommerzieller Cloud-KI abgelöst. ^{[ 185 ]} OpenAI schätzte den Hardware-Rechenaufwand der größten Deep-Learning-Projekte von AlexNet (2012) bis AlphaZero (2017) und stellte eine 300.000-fache Steigerung des Rechenbedarfs mit einer Verdopplungszeit von 3,4 Monaten fest. ^{[ 186 ] [ 187 ]}

Tensor Processing Units (TPUs) sind spezialisierte Hardwarebeschleuniger, die von Google speziell für Machine-Learning-Anwendungen entwickelt wurden. Im Gegensatz zu herkömmlichen GPUs und FPGAs sind TPUs für Tensorberechnungen optimiert und daher besonders effizient für Deep-Learning-Aufgaben wie Training und Inferenz. Sie werden häufig in Google Cloud AI-Diensten und großen Machine-Learning-Modellen wie Googles DeepMind AlphaFold und umfangreichen Sprachmodellen eingesetzt. TPUs nutzen Matrixmultiplikationseinheiten und Speicher mit hoher Bandbreite, um Berechnungen zu beschleunigen und gleichzeitig die Energieeffizienz zu erhalten. ^{[ 188 ]} Seit ihrer Einführung im Jahr 2016 haben sich TPUs zu einer Schlüsselkomponente der KI-Infrastruktur entwickelt, insbesondere in Cloud-Umgebungen.

Neuromorphes Rechnen bezeichnet eine Klasse von Computersystemen, die die Struktur und Funktionalität biologischer neuronaler Netze nachbilden sollen. Diese Systeme können durch softwarebasierte Simulationen auf herkömmlicher Hardware oder durch spezialisierte Hardwarearchitekturen implementiert werden. ^{[ 189 ]}

Ein physikalisches neuronales Netzwerk ist eine spezielle Art neuromorpher Hardware, die elektrisch einstellbare Materialien wie Memristoren nutzt, um die Funktion neuronaler Synapsen nachzubilden . Der Begriff „physikalisches neuronales Netzwerk“ unterstreicht die Verwendung physischer Hardware für die Datenverarbeitung im Gegensatz zu softwarebasierten Implementierungen. Er bezeichnet allgemein künstliche neuronale Netzwerke, die Materialien mit einstellbarem Widerstand verwenden, um neuronale Synapsen zu replizieren. ^{[ 190 ] [ 191 ]}

Eingebettetes maschinelles Lernen ist ein Teilgebiet des maschinellen Lernens, bei dem Modelle auf eingebetteten Systemen mit begrenzten Rechenressourcen, wie z. B. Wearables , Edge-Geräten und Mikrocontrollern , eingesetzt werden . ^{[ 192 ] [ 193 ] [ 194 ] [ 195 ]} Die direkte Ausführung von Modellen auf diesen Geräten eliminiert die Notwendigkeit, Daten zur Weiterverarbeitung auf Cloud-Server zu übertragen und zu speichern. Dadurch wird das Risiko von Datenschutzverletzungen, Datenlecks und dem Diebstahl von geistigem Eigentum, personenbezogenen Daten und Geschäftsgeheimnissen reduziert. Eingebettetes maschinelles Lernen kann durch verschiedene Techniken realisiert werden, darunter Hardwarebeschleunigung [ ^{196 ] [ 197 ] ,} approximatives Rechnen ^{[ 198 ]} und Modelloptimierung. ^{[ 199 ] [ 200 ]} Gängige Optimierungstechniken umfassen Pruning , Quantisierung , Wissensdestillation , Niedrigrangfaktorisierung, Netzwerkarchitektursuche und Parameterteilung.

• KNIME
• RapidMiner

• Zeitschrift für maschinelles Lernen
• Maschinelles Lernen
• Natürliche maschinelle Intelligenz
• Neuronale Berechnung
• IEEE Transactions on Pattern Analysis and Machine Intelligence

• AAAI-Konferenz über Künstliche Intelligenz
• Vereinigung für Computerlinguistik ( ACL )
• Europäische Konferenz über Maschinelles Lernen und Prinzipien und Praxis der Wissensentdeckung in Datenbanken ( ECML PKDD )
• Internationale Konferenz über Methoden der Computerintelligenz für Bioinformatik und Biostatistik ( CIBB )
• Internationale Konferenz für Maschinelles Lernen ( ICML )
• Internationale Konferenz über Lernrepräsentationen ( ICLR )
• Internationale Konferenz über intelligente Roboter und Systeme ( IROS )
• Konferenz über Wissensentdeckung und Data Mining ( KDD )
• Konferenz über neuronale Informationsverarbeitungssysteme ( NeurIPS )

• Automatisiertes maschinelles Lernen  – Prozess der Automatisierung der Anwendung von maschinellem Lernen
• Big Data  – Extrem große oder komplexe Datensätze
• Deep Learning – ein Teilgebiet des maschinellen Lernens, das sich mit künstlichen neuronalen Netzen befasst.
• Differenzierbare Programmierung  – Programmierparadigma
• Google Colab – eine sofort einsatzbereite Online-IDE für maschinelles Lernen in Python und Julia
• Liste von Datensätzen für die Forschung im Bereich maschinelles Lernen
• Liste der Algorithmen für maschinelles Lernen und Liste der Algorithmen für maschinelles Lernen und statistische Klassifizierung
• M-Theorie (Lernrahmen)  – Rahmenwerk im maschinellen Lernen
• Maschinelles Verlernen  – Forschungsgebiet der künstlichen Intelligenz
• Überblick über maschinelles Lernen
• Solomonoffs Theorie des induktiven Schließens  – Mathematische Theorie
• TinyML – Maschinelles Lernen auf energieeffizienten eingebetteten Systemen