Perzeptronen (Buch)

„Perceptrons: An Introduction to Computational Geometry“ ist ein Buch von Marvin Minsky und Seymour Papert , das 1969 erschien. Anfang der 1970er-Jahre wurde eine Ausgabe mit handschriftlichen Korrekturen und Ergänzungen veröffentlicht. Eine erweiterte Ausgabe erschien 1988 ( ISBN 100) . 9780262631112) nach der Wiederbelebung der neuronalen Netze , einschließlich eines Kapitels, das sich mit der Widerlegung der in den 1980er Jahren geäußerten Kritikpunkte befasst.

Hauptthema des Buches ist das Perzeptron , eine Art künstliches neuronales Netzwerk, das Ende der 1950er und Anfang der 1960er Jahre entwickelt wurde. Das Buch ist dem Psychologen Frank Rosenblatt gewidmet , der 1957 das erste Modell eines „Perzeptrons“ veröffentlicht hatte. ^{[ 1 ]} Rosenblatt und Minsky kannten sich seit ihrer Jugend; sie hatten mit einem Jahr Abstand die Bronx High School of Science besucht . ^{[ 2 ]} Sie spielten zeitweise eine zentrale Rolle in einer Debatte innerhalb der KI-Forschungsgemeinschaft und waren dafür bekannt, auf Konferenzen hitzige Diskussionen anzustoßen, blieben aber dennoch freundschaftlich verbunden. ^{[ 3 ]}

Dieses Buch steht im Zentrum einer langjährigen Kontroverse in der Forschung zur künstlichen Intelligenz . Es wird behauptet, dass die pessimistischen Prognosen der Autoren zu einer veränderten Forschungsrichtung in der KI geführt haben, die sich auf sogenannte „symbolische“ Systeme konzentrierte – ein Forschungszweig, der im Sande verlief und zum sogenannten KI-Winter der 1980er-Jahre beitrug, als die Versprechen der KI nicht eingelöst wurden. ^{[ 4 ]}

Der Kern von „Perceptrons“ besteht aus einer Reihe mathematischer Beweise , die einige Stärken der Perceptrons aufzeigen, gleichzeitig aber auch ihre wesentlichen Schwächen verdeutlichen. ^{[ 3 ]} Die wichtigste Schwäche betrifft die Berechnung bestimmter Prädikate, wie beispielsweise der XOR-Funktion und des wichtigen Zusammenhangsprädikats. Das Problem des Zusammenhangs wird auf dem unvorteilhaft gefärbten Buchumschlag veranschaulicht, der zeigen soll, wie schwer es Menschen selbst fällt, dieses Prädikat zu berechnen. ^{[ 5 ]} Ein Rezensent, Earl Hunt , merkte an, dass die XOR-Funktion auch für Menschen in Experimenten zum Konzeptlernen schwer zu erlernen ist . ^{[ 6 ]}

Publikationsgeschichte

Als Papert 1963 am MIT ankam, beschlossen Minsky und Papert, eine theoretische Abhandlung über die Grenzen von Perzeptronen zu verfassen. Sie benötigten bis 1969 Zeit, um die mathematischen Probleme zu lösen, die während des Schreibens unerwartet auftraten. Die erste Auflage erschien 1969. Für die zweite Auflage im Jahr 1972 nahmen die Autoren handschriftliche Änderungen vor. Diese handschriftlichen Anmerkungen enthalten einige Verweise auf Rezensionen der ersten Auflage. ^{[ 7 ]}^{[ 8 ]}^{[ 9 ]}

Eine erweiterte Ausgabe erschien 1988 mit einem Prolog und einem Epilog, die die Renaissance neuronaler Netze in den 1980er-Jahren thematisieren, jedoch keine neuen wissenschaftlichen Ergebnisse präsentieren. ^{[ 10 ]} 2017 wurde die erweiterte Ausgabe mit einem Vorwort von Léon Bottou neu aufgelegt, der das Buch aus der Perspektive eines Forschers im Bereich Deep Learning beleuchtet .

Hintergrund

Das Perzeptron ist ein neuronales Netz, das 1958 von dem Psychologen Frank Rosenblatt entwickelt wurde und zu den bekanntesten Maschinen seiner Zeit zählt. ^{[ 11 ]}^{[ 12 ]} 1960 konnten Rosenblatt und seine Kollegen zeigen, dass das Perzeptron in endlich vielen Trainingszyklen jede Aufgabe erlernen kann, die seine Parameter repräsentieren. Der Konvergenzsatz des Perzeptrons wurde für einschichtige neuronale Netze bewiesen. ^{[ 12 ]}

In dieser Zeit war die Forschung an neuronalen Netzen ein wichtiger Ansatz zur Lösung des Problems der Mensch-Maschine-Interaktion, der von vielen verfolgt wurde. ^{[ 12 ]} Berichte der New York Times und Aussagen von Rosenblatt behaupteten, neuronale Netze würden bald in der Lage sein, Bilder zu sehen, Menschen im Schach zu schlagen [ ¹³^] und sich fortzupflanzen. ^[³^] Gleichzeitig entstanden andere neue Ansätze, darunter ^die symbolische KI . ^[¹⁴^] Verschiedene Gruppen konkurrierten um Fördermittel und Personal, und ihr Bedarf an Rechenleistung überstieg das verfügbare Angebot bei Weitem. ^[¹⁵^]

Inhalt

„Perceptrons: An Introduction to Computational Geometry“ ist ein Buch mit dreizehn Kapiteln, die in drei Abschnitte unterteilt sind. Die Kapitel 1–10 stellen die Perzeptronentheorie der Autoren anhand von Beweisen vor, Kapitel 11 behandelt Lernprozesse, Kapitel 12 befasst sich mit linearen Trennungsproblemen und Kapitel 13 erörtert einige Überlegungen der Autoren zu einfachen und mehrschichtigen Perzeptronen sowie zur Mustererkennung. ^{[ 16 ]}^{[ 17 ]}

Definition des Perzeptrons

Minsky und Papert untersuchten abstrakte Versionen einer Klasse von Lernmechanismen, die sie „in Anerkennung der Pionierarbeit von Frank Rosenblatt“ Perzeptrone nannten. ^{[ 17 ]} Diese Perzeptrone waren modifizierte Formen der von Rosenblatt 1958 eingeführten Perzeptrone. Sie bestanden aus einer Retina, einer einzigen Schicht von Eingangsfunktionen und einem einzigen Ausgang. ^{[ 16 ]}^{[ 12 ]}

Darüber hinaus beschränkten die Autoren die „Ordnung“ bzw. die maximale Anzahl eingehender Verbindungen ihrer Perzeptronen. Der Soziologe Mikel Olazaran erklärt, dass Minsky und Papert argumentierten, das Interesse an neuronalen Netzen rühre daher, dass es sich um eine parallele Kombination lokaler Informationen handle, die, um effektiv zu sein, eine einfache Berechnung darstellen müsse. Für die Autoren bedeutete dies, dass „jede Assoziationseinheit nur Verbindungen aus einem kleinen Teil des Eingabebereichs empfangen konnte“. ^{[ 12 ]} Minsky und Papert nannten dieses Konzept „konjunktive Lokalität“. ^{[ 17 ]}

Parität und Vernetzung

Zwei von den Autoren analysierte Hauptbeispiele waren Parität und Konnektivität. Parität beschreibt die Frage, ob die Anzahl aktivierter Eingänge in der Eingangsretina gerade oder ungerade ist, während Konnektivität das Figur-Grund-Problem betrifft . Minsky und Papert bewiesen, dass ein einschichtiges Perzeptron unter der Bedingung konjunktiver Lokalität keine Parität berechnen kann (Satz 3.1.1) und zeigten, dass die für die Berechnung der Konnektivität erforderliche Ordnung eines Perzeptrons mit der Eingangsgröße zunimmt (Satz 5.5). ^{[ 18 ]}^{[ 17 ]}

Die XOR-Affäre

Einige Kritiker des Buches behaupten, die Autoren implizierten, dass größere Netzwerke ähnliche Einschränkungen aufwiesen und daher verworfen werden sollten, da ein einzelnes künstliches Neuron bestimmte Funktionen wie die XOR -Verknüpfung nicht implementieren könne. Untersuchungen an dreischichtigen Perzeptronen zeigten jedoch, wie sich solche Funktionen realisieren lassen. Rosenblatt bewies in seinem Buch, dass das „elementare Perzeptron“ mit einer a priori unbegrenzten Anzahl von A-Elementen (Neuronen) der verborgenen Schicht und einem Ausgabeneuron jedes Klassifizierungsproblem lösen kann ( Existenzsatz [ ^{19 ] )} . Minsky und Papert verwendeten Perzeptronen mit beschränkter Anzahl von Eingängen der A-Elemente der verborgenen Schicht und einer Lokalitätsbedingung: Jedes Element der verborgenen Schicht empfängt die Eingangssignale von einem kleinen Kreis. Diese eingeschränkten Perzeptronen können nicht bestimmen, ob das Bild eine zusammenhängende Figur ist oder ob die Anzahl der Pixel im Bild gerade ist (Paritätsprädikat).

Diese Geschichte enthält viele Fehler. Obwohl ein einzelnes Neuron tatsächlich nur eine geringe Anzahl logischer Prädikate berechnen kann, war es allgemein bekannt, dass Netzwerke solcher Elemente jede mögliche Boolesche Funktion berechnen können . Dies war Warren McCulloch und Walter Pitts bekannt, die sogar vorschlugen, wie man mit ihren formalen Neuronen eine Turingmaschine erzeugen kann (Abschnitt III von ^{[ 20 ]} ). Es wird in Rosenblatts Buch erwähnt, in einer typischen Veröffentlichung von 1961 (Abbildung 15 ^{[ 21 ]} ) und sogar im Buch „Perceptrons“ ^{[ 22 ]} . Auch Minsky verwendet formale Neuronen ausführlich, um in Kapitel 3 seines Buches „Computation: Finite and Infinite Machines“ einfache theoretische Computer zu konstruieren .

In den 1960er Jahren wurde ein Spezialfall des Perzeptron-Netzwerks als „lineare Schwellwertlogik“ für Anwendungen in digitalen Logikschaltungen untersucht. ^{[ 23 ]} Die klassische Theorie ist in ^{[ 24 ]} nach Donald Knuth zusammengefasst . ^{[ 25 ]} In diesem Spezialfall wurde das Lernen von Perzeptronen als „Single-Threshold-Element Synthesis by Iteration“ und der Aufbau eines Perzeptron-Netzwerks als „Netzwerksynthese“ bezeichnet. ^{[ 26 ]} Weitere Bezeichnungen waren linear separable Logik, Logik mit linearem Eingang, Schwellwertlogik, Mehrheitslogik und Abstimmungslogik . Hardware zur Realisierung linearer Schwellwertlogik umfasste Magnetkernschaltungen , Widerstands-Transistor-Schaltungen , Parametronen , Widerstands-Tunneldioden und Mehrspulenrelais . [ ^{27 ] Es} gab auch theoretische Untersuchungen zu den oberen und unteren Schranken für die minimale Anzahl von Perzeptron-Einheiten, die zur Realisierung einer beliebigen Booleschen Funktion erforderlich sind. ^{[ 28 ]}^{[ 29 ]}

Das Buch beweist, dass in dreischichtigen Feedforward-Perzeptronen (mit einer sogenannten „versteckten“ oder „Zwischenschicht“) die Berechnung bestimmter Prädikate nur möglich ist, wenn mindestens eines der Neuronen in der ersten Schicht (der „Zwischenschicht“) mit jedem Eingang über ein von Null verschiedenes Gewicht verbunden ist (Satz 3.1.1, siehe unten). Dies widersprach der Hoffnung einiger Forscher, die sich hauptsächlich auf Netzwerke mit wenigen Schichten „lokaler“ Neuronen stützten, von denen jede nur mit einer kleinen Anzahl von Eingängen verbunden ist. Ein Feedforward-Netzwerk mit „lokalen“ Neuronen ist wesentlich einfacher zu konstruieren und zu verwenden als ein größeres, vollständig vernetztes neuronales Netzwerk, weshalb sich die Forscher damals auf diese anstatt auf komplexere Modelle konzentrierten.

Andere Kritiker, insbesondere Jordan Pollack , merken an, dass ein kleiner Beweis dafür, dass ein globales Problem (Parität) mit lokalen Detektoren nicht nachweisbar ist, von der Fachgemeinschaft als ein ziemlich erfolgreicher Versuch interpretiert wurde, die gesamte Idee zu unterdrücken. ^{[ 30 ]}

Kritik an Perzeptronen und ihren Erweiterungen

Im Prolog und Epilog der Ausgabe von 1988 reagieren die Autoren auf die Renaissance neuronaler Netze in den 1980er Jahren, indem sie mehrschichtige neuronale Netze und Gamba-Perzeptrone diskutieren. ^{[ 31 ]}^{[ 32 ]}^{[ 33 ]}^{[ 34 ]} Mit „Gamba-Perzeptronen“ meinen sie zweischichtige Perzeptronen, deren erste Schicht ebenfalls aus Perzeptron-Einheiten („Gamba-Masken“) besteht. Im Gegensatz dazu behandelt der Großteil des Buches zweischichtige Perzeptrone, deren erste Schicht aus Booleschen Einheiten besteht. Sie vermuten, dass Gamba-Maschinen eine enorme Anzahl von Gamba-Masken benötigen würden und dass mehrschichtige neuronale Netze eine sterile Erweiterung darstellen. Außerdem merken sie an, dass viele der für Perzeptrone als „unlösbar“ geltenden Probleme bereits mit anderen Methoden gelöst wurden. ^{[ 17 ]}

Die Gamba-Perzeptronmaschine ähnelte der Perzeptronmaschine von Rosenblatt. Ihre Eingabe war ein Bild. Dieses Bild wurde parallel durch binäre (zufällig generierte) Masken geleitet. Hinter jeder Maske befand sich ein Fotodetektor, der auslöste, wenn das Eingangssignal nach der Maskierung hell genug war. Die zweite Schicht bestand aus Standard-Perzeptron-Einheiten.

Sie behaupteten, die Perzeptronforschung habe in den 1970er Jahren nicht wegen ihres Buches, sondern wegen inhärenter Probleme nachgelassen: Keine Perzeptron-Lernmaschine konnte die Kreditvergabe besser durchführen als Rosenblatts Perzeptron-Lernregel, und Perzeptrone können das zur Lösung bestimmter Probleme erforderliche Wissen nicht repräsentieren. ^{[ 30 ]}

Im letzten Kapitel behaupteten sie, dass sich bei neuronalen Netzen der 1980er Jahre seit 1969 „kaum etwas Wesentliches verändert“ habe. Sie sagten voraus, dass jede einzelne, homogene Maschine bei der Skalierung scheitern müsse. Neuronale Netze, die mittels Gradientenabstieg trainiert wurden, würden aufgrund lokaler Minima , extrem großer Gewichte und langsamer Konvergenz nicht skalieren . Allgemeine Lernalgorithmen für neuronale Netze seien allesamt unpraktisch, da es keine allgemeine, domänenunabhängige Theorie darüber gebe, „wie neuronale Netze funktionieren“. Nur eine Gemeinschaft von Menschen könne funktionieren. Konkret gingen sie davon aus, dass es in der Welt viele verschiedene Arten kleiner Probleme gebe, die jeweils im Maßstab eines „Spielzeugproblems“ lägen. Große Probleme seien immer in kleine Probleme zerlegbar. Jedes dieser Probleme erfordere einen anderen Algorithmus zur Lösung, manche seien Perzeptronen, andere logische Programme usw. Jede homogene Maschine müsse bei der Lösung fast aller kleinen Probleme scheitern. Menschliche Intelligenz bestehe aus nichts anderem als einer Sammlung vieler kleiner, unterschiedlicher Algorithmen, die wie eine Gesellschaft organisiert seien. ^{[ 30 ]}

Mathematische Inhalte

Vorläufige Definitionen

Sei eine endliche Menge . Ein Prädikat auf ist eine boolesche Funktion, die eine Teilmenge von als Eingabe erhält und entweder oder ausgibt . Insbesondere ist eine Perzeptroneinheit ein Prädikat. ${\textstyle R}$ ${\textstyle R}$ ${\textstyle R}$ ${\textstyle 0}$ ${\textstyle 1}$

Ein Prädikat hat Unterstützung genau dann, wenn für jedes gilt : . Anders ausgedrückt: Wenn wir wissen, wie auf Teilmengen von funktioniert , dann wissen wir auch, wie auf Teilmengen von ganz funktioniert . ${\textstyle \psi }$ ${\textstyle S\subset R}$ ${\textstyle X\subset S}$ ${\textstyle \psi (X)=\psi (X\cap S)}$ ${\textstyle \psi }$ ${\textstyle S}$ ${\textstyle R}$

Ein Prädikat kann mehrere verschiedene Unterstützungen haben. Die Unterstützungsgröße eines Prädikats ist die minimale Anzahl an Elementen, die für seine Unterstützung notwendig sind. Beispielsweise werden die Funktionen `constant-0` und `constant-1` beide auf der leeren Menge unterstützt und haben daher beide die Unterstützungsgröße 0. ${\textstyle \psi }$

Ein Perzeptron (der von Minsky und Papert untersuchte Typ) über ist eine Funktion der Form , wobei Prädikate sind und reelle Zahlen sind. ${\textstyle R}$ $\theta \left(\sum _{i}a_{i}\psi _{i}\right)$ ${\textstyle \psi _{i}}$ ${\textstyle a_{i}}$

Wenn eine Menge von Prädikaten ist, dann ist die Menge aller Perzeptrone, die nur Prädikate in verwenden . ${\textstyle \Phi }$ ${\textstyle L(\Phi )}$ ${\textstyle \Phi }$

Die Ordnung eines Perzeptrons ist die maximale Stützweite seiner Komponentenprädikate . ${\textstyle \theta \left(\sum _{i}a_{i}\psi _{i}\right)}$ ${\textstyle \{\psi _{i}\}_{i}}$

Die Ordnung einer booleschen Funktion auf ist die minimale Ordnung, die für ein Perzeptron, das die boolesche Funktion implementiert, möglich ist. ${\textstyle R}$

Eine boolesche Funktion heißt konjunktiv lokal genau dann, wenn ihre Ordnung nicht gegen unendlich strebt, wenn gegen unendlich strebt. $|R|$

Die Maske von ist das Prädikat, das definiert wird durch ${\textstyle A\subset R}$ ${\textstyle 1_{A}}$ $1_{A}(X)={\begin{cases}1&{\text{ falls }}A\subset X,\\0&{\text{ sonst."}}\end{cases}}$

Hauptsätze

Satz 1.5.1, Positive Normalform — Wenn ein Perzeptron von der Ordnung ist , dann ist es von der Ordnung , wenn man nur Masken verwendet. ${\textstyle k}$ ${\textstyle k}$

Nachweisen

Das Perzeptron sei gegeben durch , wobei jede Maske eine Trägergröße von höchstens hat . Wir wandeln es in eine lineare Summe von Masken um, wobei jede Maske eine Größe von höchstens hat . ${\textstyle \theta \left(\sum _{i}a_{i}\psi _{i}\right)}$ ${\textstyle \psi _{i}}$ ${\textstyle k}$ ${\textstyle k}$

Sei auf der Menge unterstützt . Schreiben Sie sie in disjunktiver Normalform, mit einer Klausel für jede Teilmenge von , auf der zurückgibt , und schreiben Sie für jede Teilmenge ein positives Literal für jedes Element in der Teilmenge und ein negatives Literal andernfalls. ${\textstyle \psi _{i}}$ ${\textstyle A}$ ${\textstyle A}$ ${\textstyle \psi _{i}}$ ${\textstyle 1}$

Angenommen, f ist auf ℝ² und auf allen ungeradzahligen Teilmengen definiert, dann können wir es schreiben als ${\textstyle \psi _{i}}$ ${\textstyle \{1,2\}}$ ${\textstyle 1}$ $(x_{1}\land \neg x_{2})\lor (\neg x_{1}\land x_{2})$

Nun wandeln wir diese Formel in eine Boolesche Algebraformel um und erweitern sie anschließend, um eine lineare Summe von Masken zu erhalten. Die obige Formel wird beispielsweise umgewandelt in $x_{1}(1-x_{2})+(1-x_{1})x_{2}=x_{1}+x_{2}-2x_{1}x_{2}$

Wiederholen Sie dies für jedes im Perzeptron verwendete Prädikat und addieren Sie die Ergebnisse; so erhalten Sie ein äquivalentes Perzeptron, das nur Masken verwendet.

Sei die Permutationsgruppe auf den Elementen von , und sei eine Untergruppe von . ${\textstyle S_{R}}$ ${\textstyle R}$ ${\textstyle G}$ ${\textstyle S_{R}}$

Wir sagen, dass ein Prädikat -invariant ist , wenn für jedes . Das heißt, für jedes gilt . ${\textstyle \psi }$ ${\textstyle G}$ ${\textstyle \psi \circ g=\psi }$ ${\textstyle g\in G}$ ${\textstyle X\subset R}$ ${\textstyle \psi (X)=\psi (g(X))}$

Die Paritätsfunktion ist beispielsweise -invariant, da jede Permutation der Menge die Größe und damit die Parität jeder ihrer Teilmengen erhält. ${\textstyle S_{R}}$

Satz 2.3, Gruppeninvarianzsatz — Wenn unter der Wirkung von abgeschlossen ist und -invariant ist , dann existiert ein Perzeptron, sodass wenn für ein , dann . ${\textstyle \Phi }$ ${\textstyle G}$ ${\textstyle \psi \in L(\Phi )}$ ${\textstyle G}$ $\theta \left(\sum _{i}a_{i}\psi _{i}\right)=\psi$ ${\textstyle \psi _{i}=\psi _{j}\circ g}$ ${\textstyle g\in G}$ ${\textstyle a_{i}=a_{j}}$

Nachweisen

Die Beweisidee besteht darin, den Durchschnitt über alle Elemente von zu bilden . ${\textstyle G}$

Wir zählen die Prädikate in als auf und schreiben für den Index des Prädikats, für das gilt : , für alle . Das heißt, wir haben eine Gruppenoperation auf der Menge definiert . ${\textstyle \Phi }$ ${\textstyle \psi _{1},\psi _{2},...}$ ${\textstyle g(j)}$ ${\textstyle \psi _{g(j)}=\psi _{j}\circ g}$ ${\textstyle g\in G}$ ${\textstyle \Phi }$

Definiere . Wir behaupten, dies sei das gewünschte Perzeptron. ${\textstyle a_{j}:=\sum _{g\in G}b_{g^{-1}(j)}}$

Da es also einige reelle Zahlen gibt, so dass ${\textstyle \psi \in L(\Phi )}$ ${\textstyle b_{j}}$ $\theta \left(\sum _{j}b_{j}\psi _{j}\right)=\psi$

Nach Definition der -Invarianz gilt: Wenn , dann für alle . Das heißt, und somit erhalten wir durch Mittelwertbildung über alle Elemente in . ${\textstyle G}$ ${\textstyle \psi (A)=1}$ ${\textstyle \psi (g(A))=1}$ ${\textstyle g\in G}$ $\sum _{j}b_{j}(\psi _{j}\circ g)(A)>0;\quad g\in G$ ${\textstyle G}$ $0<\sum _{g\in G}\sum _{j}b_{j}(\psi _{j}\circ g)(A)=\sum _{g\in G}\sum _{j}b_{g^{-1}(j)}\psi _{j}(A)=\sum _{j}\left(\sum _{g\in G}b_{g^{-1}(j)}\right)\psi _{j}(A)=\sum _{j}a_{j}\psi _{j}(A)$

Gleiches gilt für den Fall, in dem . ${\textstyle \psi (A)=0}$

Satz 3.1.1 — Die Paritätsfunktion hat die Ordnung . ${\textstyle |R|}$

Nachweisen

Sei die Paritätsfunktion und die Menge aller Masken der Größe . Offensichtlich sind sowohl als auch invariant unter allen Permutationen. ${\textstyle \psi _{parity}}$ ${\textstyle \Phi }$ ${\textstyle \leq |R|-1}$ ${\textstyle \psi _{parity}}$ ${\textstyle \Phi }$

Angenommen , hat die Ordnung , dann gilt nach dem Satz über positive Normalformen . ${\textstyle \psi _{parity}}$ ${\textstyle \leq |R|-1}$ ${\textstyle \psi _{parity}\in L(\Phi )}$

Nach dem Gruppeninvarianzsatz existiert ein Perzeptron, dessen Funktion nur von der Äquivalenzklasse der Maske und somit nur von deren Größe abhängt . Das heißt, es existieren reelle Zahlen, sodass für jede Maske auf gilt : $\theta \left(\sum _{i}a_{i}\psi _{i}\right)=\psi _{parity}$ ${\textstyle a_{i}}$ ${\textstyle S_{R}}$ ${\textstyle \psi _{i}}$ ${\textstyle \psi _{i}}$ ${\textstyle b_{0},b_{1},...,b_{|R|-1}}$ ${\textstyle \psi _{i}}$ ${\textstyle A}$ ${\textstyle a_{i}=b_{|A|}}$

Nun können wir das Perzeptron auf jeder beliebigen Teilmenge explizit berechnen . ${\textstyle X\subset R}$

Da die Menge Teilmengen der Größe enthält , setzen wir die Formel des Perzeptrons ein und berechnen: ${\textstyle X}$ ${\textstyle {\binom {|X|}{k}}}$ ${\textstyle k}$ $\psi _{parity}(X)=\theta \left(\sum _{k=0}^{|R|-1}b_{k}{\binom {|X|}{k}}\right)$

Definiere nun die Polynomfunktion, wobei . Sie hat höchstens Grad . Da dann für jedes gilt , haben wir für ein kleines positives . $p(x):=\sum _{k=0}^{|R|-1}b_{k}{\binom {x}{k}}$ ${\textstyle {\binom {x}{k}}={\frac {x(x-1)\cdots (x-k+1)}{k!}}}$ ${\textstyle |R|-1}$ ${\textstyle \theta (p(|X|))=\psi _{parity}(X)}$ ${\textstyle |X|=0,1,2,...,|R|}$ $p(0)-\epsilon >0,\quad p(1)-\epsilon <0,\quad p(2)-\epsilon >0,\quad \cdots$ ${\textstyle \epsilon }$

Das Polynom vom Grad hat also mindestens unterschiedliche Wurzeln, nämlich eine auf jeder , was einen Widerspruch darstellt. ${\textstyle \leq |R|-1}$ ${\textstyle p-\epsilon }$ ${\textstyle |R|}$ ${\textstyle (0,1),(1,2),...,(|R|-1,|R|)}$

Satz 5.9 — Die einzigen topologisch invarianten Prädikate endlicher Ordnung sind Funktionen der Euler-Zahl . ${\textstyle E}$

Das heißt, wenn eine boolesche Funktion, die von der Topologie abhängt, durch ein Perzeptron der Ordnung implementiert werden kann , so dass fest ist und nicht wächst, wenn zu einem immer größeren Rechteck heranwächst, dann hat die Form , für eine Funktion . ${\textstyle \psi }$ ${\textstyle k}$ ${\textstyle k}$ ${\textstyle R}$ ${\textstyle \psi }$ ${\textstyle f\circ E}$ ${\textstyle f:\mathbb {N} \to 2}$

Nachweis: fehlt.

Abschnitt 5.5, von David A. Huffman — Sei das Rechteck der Form , dann hat die Zusammenhangsfunktion auf für eine Ordnung, die mindestens so schnell wächst wie . ${\textstyle R_{n}}$ ${\textstyle 5n\times (2n+12)}$ ${\textstyle n\to \infty }$ ${\textstyle R_{n}}$ ${\textstyle \Omega (|R_{n}|^{1/2})}$

Beweisskizze: Durch Reduzierung der Paritätsfunktion auf die Zusammenhangsfunktion mithilfe von Schaltungselementen. Der Beweis ist ähnlich dem, der die NP-Schwere von Sokoban zeigt. ^{[ 35 ]}

Rezeption und Vermächtnis

Perceptrons erhielt in den Jahren nach seiner Veröffentlichung zahlreiche positive Rezensionen. 1969 erklärte der Stanford-Professor Michael A. Arbib : „Dieses Buch wurde weithin als ein aufregendes neues Kapitel in der Theorie der Mustererkennung gefeiert.“ ^{[ 36 ]} Anfang desselben Jahres verfasste der CMU -Professor Allen Newell eine Rezension des Buches für Science und eröffnete sie mit den Worten: „Dies ist ein großartiges Buch.“ ^{[ 37 ]}

Andererseits äußerte HD Block Bedenken hinsichtlich der engen Definition von Perzeptronen durch die Autoren. Er argumentierte, dass sie „eine stark eingeschränkte Klasse von Maschinen aus einer Perspektive untersuchen, die der von Rosenblatt völlig fremd ist“, und dass der Titel des Buches daher „irreführend“ sei. ^{[ 16 ]} Zeitgenössische Forscher im Bereich neuronaler Netze teilten einige dieser Einwände: Bernard Widrow bemängelte, dass die Autoren Perzeptronen zu eng definiert hätten, sagte aber auch, dass die Beweise von Minsky und Papert „ziemlich irrelevant“ seien, da sie ein ganzes Jahrzehnt nach Rosenblatts Perzeptron erbracht wurden. ^{[ 18 ]}

Man geht häufig davon aus, dass Perzeptronen in den 1970er und frühen 1980er Jahren zu einem Rückgang der Forschung im Bereich neuronaler Netze geführt haben. ^{[ 3 ]}^{[ 38 ]} In dieser Zeit führten Forscher neuronaler Netze kleinere Projekte abseits des Mainstreams fort, während die Forschung im Bereich symbolischer KI ein explosionsartiges Wachstum erlebte. ^{[ 39 ]}^{[ 3 ]}

Mit dem Wiederaufleben des Konnektionismus in den späten 1980er Jahren wandten sich der PDP- Forscher David Rumelhart und seine Kollegen wieder den Perzeptronen zu . In einem Bericht von 1986 behaupteten sie, die von Minsky und Papert aufgeworfenen Probleme überwunden zu haben und dass „ihr Pessimismus hinsichtlich des Lernens in mehrschichtigen Maschinen unbegründet war“. ^{[ 3 ]}

Analyse der Kontroverse

Besonders aufschlussreich ist es, die Aussagen von Minsky und Papert selbst aus den 1970er Jahren zu den weiterreichenden Implikationen ihres Buches zu betrachten. Auf seiner Website zitiert Harvey Cohen, ^{[ 40 ]} Forscher an den MIT AI Labs (ab 1974) ^{[ 41 ]} , Minsky und Papert aus dem 1971 veröffentlichten Bericht des Project MAC über „Gamba-Netzwerke“, der sich an Förderinstitutionen richtete: ^{[ 31 ]} „Über die Rechenleistung dieser Art von Maschine ist praktisch nichts bekannt. Wir glauben, dass sie kaum mehr leisten kann als ein Perzeptron niedriger Ordnung.“ Auf der vorhergehenden Seite stellen Minsky und Papert klar, dass es sich bei „Gamba-Netzwerken“ um Netzwerke mit verborgenen Schichten handelt.

Minsky verglich das Buch mit dem fiktiven Werk Necronomicon aus den Erzählungen von H. P. Lovecraft , einem Buch, das vielen bekannt ist, aber nur von wenigen gelesen wurde. ^{[ 42 ]} In der erweiterten Ausgabe sprechen die Autoren über die Kritik an dem Buch, die in den 1980er Jahren begann und deren neue Forschungswelle durch das PDP- Buch symbolisiert wurde.

Wie Perzeptronen zunächst von einer Gruppe von Wissenschaftlern erforscht wurden, um die KI-Forschung in eine bestimmte Richtung zu lenken, und später von einer neuen Gruppe in eine andere Richtung, war Gegenstand einer soziologischen Studie zur wissenschaftlichen Entwicklung. ^{[ 3 ]}

Anmerkungen

^ Rosenblatt, Frank (Januar 1957). Das Perzeptron: Ein wahrnehmender und erkennender Automat (Projekt PARA) (PDF) (Bericht). Cornell Aeronautical Laboratory, Inc. Bericht Nr. 85–460–1. Archiviert vom Original (PDF) am 7. April 2023. Abgerufen am 29. Dezember 2019 .Verewigt bei Joe Pater, Brain Wars: Wie funktioniert der Geist? Und warum ist das so wichtig? , UmassAmherst.
^ Crevier 1993
^ ^a ^b ^c ^d ^e ^f ^g Olazaran 1996 .
^ Mitchell, Melanie (Oktober 2019). Künstliche Intelligenz: Ein Leitfaden für denkende Menschen . Farrar, Straus and Giroux. ISBN 978-0-374-25783-5Die
^ Minsky-Papert 1972:74 zeigt die Abbildungen in Schwarzweiß. Auf dem Umschlag der Taschenbuchausgabe von 1972 sind sie violett auf rotem Grund gedruckt, was die Erkennbarkeit der Zusammenhänge ohne das Nachfahren der Muster mit dem Finger oder anderen Hilfsmitteln zusätzlich erschwert. Dieses Problem wird ab S. 136 ff. ausführlich erörtert und beinhaltet tatsächlich das Nachzeichnen der Kontur.
^ Hunt, Earl (1971). „Review of Perceptrons“ . The American Journal of Psychology . 84 (3): 445–447 . doi : 10.2307/1420478 . ISSN 0002-9556 . JSTOR 1420478 .
^ Block, HD (Dezember 1970). „Eine Rezension von „Perzeptronen: Eine Einführung in die Computergeometrie≓“ . Information and Control . 17 (5): 501–522 . doi : 10.1016/S0019-9958(70)90409-2 .
^ Newell, Allen (22.08.1969). „Ein Schritt zum Verständnis von Informationsprozessen: Perzeptronen. Eine Einführung in die Computergeometrie. Marvin Minsky und Seymour Papert. MIT Press, Cambridge, Mass., 1969. vi + 258 S., Abb. Gebunden, $12; Taschenbuch, $4,95“ . Science . 165 (3895): 780–782 . doi : 10.1126/science.165.3895.780 . ISSN 0036-8075 .
^Mycielski, Jan (January 1972). "Review: Marvin Minsky and Seymour Papert, Perceptrons, An Introduction to Computational Geometry". Bulletin of the American Mathematical Society. 78 (1): 12–15. doi:10.1090/S0002-9904-1972-12831-3. ISSN 0002-9904.
^Stephen Grossberg. "Review of Perceptrons", AI Magazine, 10(2) (1989).
^Rosenblatt, Frank (1958). "The perceptron: A probabilistic model for information storage and organization in the brain". Psychological Review. 65 (6): 386–408. CiteSeerX 10.1.1.588.3775. doi:10.1037/h0042519. PMID 13602029. S2CID 12781225.
^ ^a ^b ^c ^d ^eOlazaran 1996, p. 618
^Deep Blue was not based on neural networks
^Haugeland, John (1985). Artificial Intelligence: The Very Idea. Cambridge, Mass: MIT Press. ISBN 978-0-262-08153-5.
^Hwang, Tim (2018). "Computational Power and the Social Impact of Artificial Intelligence". arXiv:1803.08971v1 [cs.AI].
^ ^a ^b ^cBlock, H. D. (1970). "A Review of 'Perceptrons: An Introduction to Computational Geometry'". Information and Control. 17 (1): 501–522. doi:10.1016/S0019-9958(70)90409-2.
^ ^a ^b ^c ^d ^eMinsky, Marvin; Papert, Seymour (1988). Perceptrons: An Introduction to Computational Geometry. MIT Press.
^ ^a ^bOlazaran 1996, p. 630
^Theorem 1 in Rosenblatt, F. (1961) Principles of Neurodynamics: Perceptrons and the Theory of Brain Mechanisms, Spartan. Washington DC.
^McCulloch, Warren S.; Pitts, Walter (1943-12-01). "A logical calculus of the ideas immanent in nervous activity". The Bulletin of Mathematical Biophysics. 5 (4): 115–133. doi:10.1007/BF02478259. ISSN 1522-9602.
^ Hawkins, J. (Januar 1961). „Selbstorganisierende Systeme – Eine Übersicht und ein Kommentar“. Proceedings of the IRE . 49 (1): 31–48 . Bibcode : 1961PIRE...49...31H . doi : 10.1109/JRPROC.1961.287776 . ISSN 0096-8390 . S2CID 51640615 .
^ Vgl. Minsky-Papert (1972:232): „… ein Universalrechner könnte vollständig aus linearen Schwellenwertmodulen aufgebaut werden. Dies reduziert die Theorie der Berechnung und Programmierung in keiner Weise auf die Theorie der Perzeptronen.“
^ Hu, Sze-Tsen. Schwellenwertlogik . Band 32. Univ of California Press, 1965.
^ Muroga, Saburo (1971). Schwellenwertlogik und ihre Anwendungen . New York: Wiley-Interscience. ISBN 978-0-471-62530-8Die
^ Knuth, Donald Ervin (2011). Die Kunst der Computerprogrammierung, Band 4A . Upper Saddle River: Addison-Wesley. S. 75–79 . ISBN 978-0-201-03804-0Die
^ Dertouzos, Michael L. „Schwellenlogik: ein Syntheseansatz.“ (1965).
^ Minnick, Robert C. (März 1961). „Linear-Input Logic“. IEEE Transactions on Electronic Computers . EC-10 (1): 6–16 . Bibcode : 1961IRTEC..10....6M . doi : 10.1109/TEC.1961.5219146 . ISSN 0367-7508 .
^ Siehe die Literaturangaben in Cover, Thomas M. " Capacity problems for linear machines ." Pattern recognition (1968): 283-289.
^ Šíma, Jiří; Orponen, Pekka (1. Dezember 2003). „Allgemeine Berechnungen mit neuronalen Netzen: Ein Überblick über komplexitätstheoretische Ergebnisse“ . Neural Computation . 15 (12): 2727–2778 . doi : 10.1162/089976603322518731 . ISSN 0899-7667 . PMID 14629867. S2CID 264603251 .
^ ^a ^b ^c Pollack, JB (1989). „No Harm Intended: A Review of the Perceptrons expanded edition“. Journal of Mathematical Psychology . 33 (3): 358– 365. doi : 10.1016/0022-2496(89)90015-1 .
^ ^a ^b Vom Namen des italienischen Forschers auf dem Gebiet der neuronalen Netze, Augusto Gamba (1923–1996), dem Entwickler des PAPA-Perzeptrons. PAPA ist ein Akronym für „Programmatore e Analizzatore Probabilistico Automatico“ („Automatischer probabilistischer Programmierer und Analysator“).
^ Borsellino, A.; Gamba, A. (01.09.1961). „Ein Überblick über eine mathematische Theorie von PAPA“ . Il Nuovo Cimento . 20 (2): 221– 231. Bibcode : 1961NCim...20S.221B . doi : 10.1007/BF02822644 . ISSN 1827-6121 .
^ Gamba, A.; Gamberini, L.; Palmieri, G.; Sanna, R. (01.09.1961). „Weitere Experimente mit PAPA“ . Il Nuovo Cimento . 20 (2): 112– 115. Bibcode : 1961NCim...20S.112G . doi : 10.1007/BF02822639 . ISSN 1827-6121 .
^ Gamba, A. (01.10.1962). „Ein mehrstufiges PAPA“ . Il Nuovo Cimento . 26 (1): 176–177 . Bibcode : 1962NCim...26S.176G . doi : 10.1007/BF02782996 . ISSN 1827-6121 .
^ Dor, Dorit; Zwick, Uri (1999-10-01). „SOKOBAN und andere Bewegungsplanungsprobleme“ . Computational Geometry . 13 (4): 215–228 . doi : 10.1016/S0925-7721(99)00017-6 . ISSN 0925-7721 .
^ Arbib, Michael (November 1969). „Rezension von ‚Perceptrons: An Introduction to Computational Geometry‘“". IEEE Transactions on Information Theory . 15 (6): 738– 739. doi : 10.1109/TIT.1969.1054388 .
^ Newell, Allen (1969). „Ein Schritt zum Verständnis von Informationsprozessen“. Science . 165 (3895): 780–782 . doi : 10.1126/science.165.3895.780 . JSTOR 1727364 .
^ Alom, Md Zahangir; et al. (2018). „Die Geschichte begann mit AlexNet: Eine umfassende Übersicht über Deep-Learning-Ansätze“. arXiv : 1803.01164v1 [ cs.CV ]. 1969: Minsky & Papert zeigen die Grenzen von Perzeptronen auf und bringen die Forschung an neuronalen Netzen für ein Jahrzehnt zum Erliegen.
^ Bechtel , William (1993). „The Case for Connectionism“. Philosophical Studies . 71 (2): 119–154 . doi : 10.1007/BF00989853 . JSTOR 4320426. S2CID 170812977 .
^ „Die Perzeptron-Kontroverse“ .
^ „Autor von MIT AI Memo 338“ (PDF) .
^ „Geschichte: Die Vergangenheit“ . Ucs.louisiana.edu . Abgerufen am 10.07.2013 .

Referenzen

McCorduck, Pamela (2004), Maschinen, die denken (2. Aufl.), Natick, Massachusetts: AK Peters, ISBN 1-5688-1205-1, S. 104–107
Crevier, Daniel (1993). KI: Die turbulente Suche nach künstlicher Intelligenz . New York, NY: BasicBooks. ISBN 0-465-02997-3Die, S. 102–105
Russell, Stuart J.; Norvig , Peter (2003), Künstliche Intelligenz: Ein moderner Ansatz (2. Aufl.), Upper Saddle River, New Jersey: Prentice Hall, ISBN 0-13-790395-2S. 22
Marvin Minsky und Seymour Papert, 1972 (2. Auflage mit Korrekturen, erste Auflage 1969) Perceptrons: An Introduction to Computational Geometry , The MIT Press, Cambridge MA, ISBN 0-262-63022-2Die
Olazaran, Mikel (1996). „Eine soziologische Studie zur offiziellen Geschichte der Perzeptron-Kontroverse“. Social Studies of Science . 26 (3): 611–659 . doi : 10.1177/030631296026003005 . JSTOR 285702. S2CID 16786738 .
Olazaran, Mikel (1993-01-01), „Eine soziologische Geschichte der Kontroverse um neuronale Netze“ , in: Yovits, Marshall C. (Hrsg.), Advances in Computers, Band 37 , Elsevier, S. 335–425 , doi : 10.1016/S0065-2458(08)60408-8 , ISBN 9780120121373abgerufen am 31.10.2023

[1] Rosenblatt, Frank (Januar 1957). Das Perzeptron: Ein wahrnehmender und erkennender Automat (Projekt PARA) (PDF) (Bericht). Cornell Aeronautical Laboratory, Inc. Bericht Nr. 85–460–1. Archiviert vom Original (PDF) am 7. April 2023. Abgerufen am 29. Dezember 2019 .Verewigt bei Joe Pater, Brain Wars: Wie funktioniert der Geist? Und warum ist das so wichtig? , UmassAmherst.

[2] Crevier 1993

[FOOTNOTEOlazaran1996-3] ^ ^a ^b ^c ^d ^e ^f ^g Olazaran 1996 .

[4] Mitchell, Melanie (Oktober 2019). Künstliche Intelligenz: Ein Leitfaden für denkende Menschen . Farrar, Straus and Giroux. ISBN 978-0-374-25783-5Die

[5] Minsky-Papert 1972:74 zeigt die Abbildungen in Schwarzweiß. Auf dem Umschlag der Taschenbuchausgabe von 1972 sind sie violett auf rotem Grund gedruckt, was die Erkennbarkeit der Zusammenhänge ohne das Nachfahren der Muster mit dem Finger oder anderen Hilfsmitteln zusätzlich erschwert. Dieses Problem wird ab S. 136 ff. ausführlich erörtert und beinhaltet tatsächlich das Nachzeichnen der Kontur.

[6] Hunt, Earl (1971). „Review of Perceptrons“ . The American Journal of Psychology . 84 (3): 445–447 . doi : 10.2307/1420478 . ISSN 0002-9556 . JSTOR 1420478 .

[7] Block, HD (Dezember 1970). „Eine Rezension von „Perzeptronen: Eine Einführung in die Computergeometrie≓“ . Information and Control . 17 (5): 501–522 . doi : 10.1016/S0019-9958(70)90409-2 .

[8] Newell, Allen (22.08.1969). „Ein Schritt zum Verständnis von Informationsprozessen: Perzeptronen. Eine Einführung in die Computergeometrie. Marvin Minsky und Seymour Papert. MIT Press, Cambridge, Mass., 1969. vi + 258 S., Abb. Gebunden, $12; Taschenbuch, $4,95“ . Science . 165 (3895): 780–782 . doi : 10.1126/science.165.3895.780 . ISSN 0036-8075 .

[9] Mycielski, Jan (January 1972). "Review: Marvin Minsky and Seymour Papert, Perceptrons, An Introduction to Computational Geometry". Bulletin of the American Mathematical Society. 78 (1): 12–15. doi:10.1090/S0002-9904-1972-12831-3. ISSN 0002-9904.

[10] Stephen Grossberg. "Review of Perceptrons", AI Magazine, 10(2) (1989).

[11] Rosenblatt, Frank (1958). "The perceptron: A probabilistic model for information storage and organization in the brain". Psychological Review. 65 (6): 386–408. CiteSeerX 10.1.1.588.3775. doi:10.1037/h0042519. PMID 13602029. S2CID 12781225.

[:0-12] Olazaran 1996, p. 618

[13] Deep Blue was not based on neural networks

[14] Haugeland, John (1985). Artificial Intelligence: The Very Idea. Cambridge, Mass: MIT Press. ISBN 978-0-262-08153-5.

[15] Hwang, Tim (2018). "Computational Power and the Social Impact of Artificial Intelligence". arXiv:1803.08971v1 [cs.AI].

[:2-16] Block, H. D. (1970). "A Review of 'Perceptrons: An Introduction to Computational Geometry'". Information and Control. 17 (1): 501–522. doi:10.1016/S0019-9958(70)90409-2.

[:1-17] Minsky, Marvin; Papert, Seymour (1988). Perceptrons: An Introduction to Computational Geometry. MIT Press.

[:3-18] Olazaran 1996, p. 630

[19] Theorem 1 in Rosenblatt, F. (1961) Principles of Neurodynamics: Perceptrons and the Theory of Brain Mechanisms, Spartan. Washington DC.

[20] McCulloch, Warren S.; Pitts, Walter (1943-12-01). "A logical calculus of the ideas immanent in nervous activity". The Bulletin of Mathematical Biophysics. 5 (4): 115–133. doi:10.1007/BF02478259. ISSN 1522-9602.

[21] Hawkins, J. (Januar 1961). „Selbstorganisierende Systeme – Eine Übersicht und ein Kommentar“. Proceedings of the IRE . 49 (1): 31–48 . Bibcode : 1961PIRE...49...31H . doi : 10.1109/JRPROC.1961.287776 . ISSN 0096-8390 . S2CID 51640615 .

[22] Vgl. Minsky-Papert (1972:232): „… ein Universalrechner könnte vollständig aus linearen Schwellenwertmodulen aufgebaut werden. Dies reduziert die Theorie der Berechnung und Programmierung in keiner Weise auf die Theorie der Perzeptronen.“

[23] Hu, Sze-Tsen. Schwellenwertlogik . Band 32. Univ of California Press, 1965.

[24] Muroga, Saburo (1971). Schwellenwertlogik und ihre Anwendungen . New York: Wiley-Interscience. ISBN 978-0-471-62530-8Die

[25] Knuth, Donald Ervin (2011). Die Kunst der Computerprogrammierung, Band 4A . Upper Saddle River: Addison-Wesley. S. 75–79 . ISBN 978-0-201-03804-0Die

[26] Dertouzos, Michael L. „Schwellenlogik: ein Syntheseansatz.“ (1965).

[27] Minnick, Robert C. (März 1961). „Linear-Input Logic“. IEEE Transactions on Electronic Computers . EC-10 (1): 6–16 . Bibcode : 1961IRTEC..10....6M . doi : 10.1109/TEC.1961.5219146 . ISSN 0367-7508 .

[28] Siehe die Literaturangaben in Cover, Thomas M. " Capacity problems for linear machines ." Pattern recognition (1968): 283-289.

[29] Šíma, Jiří; Orponen, Pekka (1. Dezember 2003). „Allgemeine Berechnungen mit neuronalen Netzen: Ein Überblick über komplexitätstheoretische Ergebnisse“ . Neural Computation . 15 (12): 2727–2778 . doi : 10.1162/089976603322518731 . ISSN 0899-7667 . PMID 14629867. S2CID 264603251 .

[:4-30] Pollack, JB (1989). „No Harm Intended: A Review of the Perceptrons expanded edition“. Journal of Mathematical Psychology . 33 (3): 358– 365. doi : 10.1016/0022-2496(89)90015-1 .

[:5-31] Vom Namen des italienischen Forschers auf dem Gebiet der neuronalen Netze, Augusto Gamba (1923–1996), dem Entwickler des PAPA-Perzeptrons. PAPA ist ein Akronym für „Programmatore e Analizzatore Probabilistico Automatico“ („Automatischer probabilistischer Programmierer und Analysator“).

[32] Borsellino, A.; Gamba, A. (01.09.1961). „Ein Überblick über eine mathematische Theorie von PAPA“ . Il Nuovo Cimento . 20 (2): 221– 231. Bibcode : 1961NCim...20S.221B . doi : 10.1007/BF02822644 . ISSN 1827-6121 .

[33] Gamba, A.; Gamberini, L.; Palmieri, G.; Sanna, R. (01.09.1961). „Weitere Experimente mit PAPA“ . Il Nuovo Cimento . 20 (2): 112– 115. Bibcode : 1961NCim...20S.112G . doi : 10.1007/BF02822639 . ISSN 1827-6121 .

[34] Gamba, A. (01.10.1962). „Ein mehrstufiges PAPA“ . Il Nuovo Cimento . 26 (1): 176–177 . Bibcode : 1962NCim...26S.176G . doi : 10.1007/BF02782996 . ISSN 1827-6121 .

[35] Dor, Dorit; Zwick, Uri (1999-10-01). „SOKOBAN und andere Bewegungsplanungsprobleme“ . Computational Geometry . 13 (4): 215–228 . doi : 10.1016/S0925-7721(99)00017-6 . ISSN 0925-7721 .

[36] Arbib, Michael (November 1969). „Rezension von ‚Perceptrons: An Introduction to Computational Geometry‘“". IEEE Transactions on Information Theory . 15 (6): 738– 739. doi : 10.1109/TIT.1969.1054388 .

[37] Newell, Allen (1969). „Ein Schritt zum Verständnis von Informationsprozessen“. Science . 165 (3895): 780–782 . doi : 10.1126/science.165.3895.780 . JSTOR 1727364 .

[38] Alom, Md Zahangir; et al. (2018). „Die Geschichte begann mit AlexNet: Eine umfassende Übersicht über Deep-Learning-Ansätze“. arXiv : 1803.01164v1 [ cs.CV ]. 1969: Minsky & Papert zeigen die Grenzen von Perzeptronen auf und bringen die Forschung an neuronalen Netzen für ein Jahrzehnt zum Erliegen.

[39] Bechtel , William (1993). „The Case for Connectionism“. Philosophical Studies . 71 (2): 119–154 . doi : 10.1007/BF00989853 . JSTOR 4320426. S2CID 170812977 .

[40] „Die Perzeptron-Kontroverse“ .

[41] „Autor von MIT AI Memo 338“ (PDF) .

[42] „Geschichte: Die Vergangenheit“ . Ucs.louisiana.edu . Abgerufen am 10.07.2013 .

[ 1 ]

[ 2 ]

[ 3 ]

[ 4 ]

[ 5 ]

[ 6 ]

[ 7 ]

[ 8 ]

[ 9 ]

[ 10 ]

[ 11 ]

[ 12 ]

13

[

[

[ 16 ]

[ 17 ]

[ 18 ]

19 ] )

[ 20 ]

[ 21 ]

[ 22 ]

[ 23 ]

[ 24 ]

[ 25 ]

[ 26 ]

27 ] Es

[ 28 ]

[ 29 ]

[ 30 ]

[ 31 ]

[ 32 ]

[ 33 ]

[ 34 ]

[ 35 ]

[ 36 ]

[ 37 ]

[ 38 ]

[ 39 ]

[ 40 ]

[ 41 ]

[ 42 ]

Perzeptronen (Buch)

Publikationsgeschichte

Hintergrund

Inhalt

Definition des Perzeptrons

Parität und Vernetzung

Die XOR-Affäre

Kritik an Perzeptronen und ihren Erweiterungen

Mathematische Inhalte

Vorläufige Definitionen

Hauptsätze

Rezeption und Vermächtnis

Analyse der Kontroverse

Anmerkungen

Referenzen

Kategorien

Verwandte Artikel

Autor	Marvin Minsky , Seymour Papert
Veröffentlichungsdatum	1969
ISBN	0 262 13043 2