John K. Kruschke

John Kendall Kruschke ist ein US-amerikanischer Psychologe und Statistiker, der für seine Arbeiten zu konnektionistischen Modellen des menschlichen Lernens ^{[ 1 ]} und zur Bayes’schen Statistik ^{[ 2 ]} bekannt ist. Er ist emeritierter Professor ^{[ 3 ] [ 4 ]} am Department für Psychologie und Neurowissenschaften der Indiana University Bloomington . Im Jahr 2002 wurde ihm der Troland Research Award der National Academy of Sciences verliehen. ^{[ 5 ]}

Kruschkes populäres Lehrbuch „ Doing Bayesian Data Analysis “ ^{[ 2 ]} zeichnete sich durch seine Verständlichkeit und die einzigartige Strukturierung der Konzepte aus. Die erste Hälfte des Buches nutzte die einfachsten Daten (d. h. dichotome Werte), um alle grundlegenden Konzepte der Bayes’schen Analyse, einschließlich der generalisierten Bayes’schen Poweranalyse und der Stichprobenplanung, zu präsentieren. Die zweite Hälfte des Buches verwendete das generalisierte lineare Modell als Rahmen, um Anwendungen auf ein breites Spektrum anderer Datentypen zu erläutern.

Kruschke hat zahlreiche Einführungsartikel zur Bayes'schen Datenanalyse verfasst, darunter einen frei zugänglichen Artikel, der Bayes'sche und frequentistische Konzepte vergleichend erläutert. ^{[ 6 ]} Eine zugehörige Online-Anwendung ermöglicht die interaktive Durchführung frequentistischer und Bayes'scher Analysen. Kruschke hielt zu diesem Thema einen aufgezeichneten Plenarvortrag auf der United States Conference on Teaching Statistics (USCOTS) .

Bayesianische Datenanalysen erfreuen sich zunehmender Beliebtheit, sind aber in vielen Bereichen noch relativ neu. Richtlinien für die Berichterstattung über Bayesianische Analysen sind daher für Forschende, Gutachter und Studierende hilfreich. Kruschkes Open-Access- Richtlinien zur Berichterstattung über Bayesianische Analysen (BARG) ^{[ 7 ]} bieten eine schrittweise Anleitung mit Erläuterungen. Beispielsweise empfehlen die BARG, dass bei Verwendung eines Bayesianischen Hypothesentests der Bericht nicht nur den Bayes-Faktor, sondern auch die minimale A-priori-Wahrscheinlichkeit des Modells enthalten sollte, damit die A-posteriori-Wahrscheinlichkeit des Modells ein Entscheidungskriterium überschreitet.

Kruschke schlug ein Entscheidungsverfahren zur Beurteilung von Nullwerten von Parametern vor, das auf der Unsicherheit der a posteriori Schätzung des Parameters basiert. ^{[ 8 ]} Dieser Ansatz steht im Gegensatz zum Bayes'schen Hypothesentest als Modellvergleich. ^{[ 9 ]}

Liddell und Kruschke ^{[ 10 ]} zeigten, dass die gängige Praxis, Ordinaldaten (wie subjektive Bewertungen) wie metrische Werte zu behandeln, systematisch zu Interpretationsfehlern und sogar zu Mittelwertumkehrungen führen kann. Sie begegneten diesem Problem, indem sie Ordinaldaten mit ordinalen Modellen, insbesondere einem geordneten Probit-Modell, behandelten. Auch frequentistische Verfahren können geordnete Probit-Modelle verwenden, die Autoren bevorzugten jedoch Bayes'sche Verfahren aufgrund ihrer Robustheit.

Eine Übersicht über Kruschkes Modelle des aufmerksamkeitsbasierten Lernens bis zum Jahr 2010 findet sich in ^{[ 11 ]} . Diese Referenz fasst zahlreiche Erkenntnisse aus der Forschung zum menschlichen Lernen zusammen, die auf aufmerksamkeitsbasiertes Lernen hindeuten. Sie bietet zudem eine Übersicht über Kruschkes Lernmodelle im Rahmen eines allgemeinen Modells.

Backpropagation- Netzwerke sind eine Art konnektionistischer Modelle und bilden den Kern neuronaler Netze des Deep Learning. Kruschkes frühe Arbeiten mit Backpropagation-Netzwerken führten zur Entwicklung von Algorithmen zur Erweiterung oder Reduzierung der Dimensionalität der verborgenen Schichten im Netzwerk. Dies beeinflusste die Generalisierung des Netzwerks von Trainings- auf Testfälle. ^{[ 12 ]} Die Algorithmen verbesserten zudem die Lerngeschwindigkeit. ^{[ 13 ]}

Das ALCOVE-Modell des assoziativen Lernens ^{[ 1 ]} verwendet Gradientenabstiegsverfahren auf Fehlerebene, ähnlich wie Backpropagation-Netzwerke, um zu lernen, welche Reizdimensionen beachtet oder ignoriert werden sollen. Das ALCOVE-Modell basiert auf dem generalisierten Kontextmodell ^{[ 14 ]} von RM Nosofsky . Diese Modelle repräsentieren Reize mathematisch in einem mehrdimensionalen Raum, der auf den vom Menschen wahrgenommenen Dimensionen (wie Farbe, Größe usw.) beruht, und gehen davon aus, dass Trainingsbeispiele als vollständige Exemplare im Speicher abgelegt werden (d. h. als Kombinationen von Werten der Dimensionen). Das ALCOVE-Modell wird mit Eingabe-Ausgabe-Paaren trainiert und ordnet den trainierten Ausgaben schrittweise Exemplare zu, während gleichzeitig die Aufmerksamkeit auf relevante Dimensionen und weg von irrelevanten Dimensionen gelenkt wird.

Eine Erweiterung des ALCOVE-Modells, genannt RASHNL, lieferte einen mathematisch kohärenten Mechanismus für Gradientenabstieg mit begrenzter Aufmerksamkeitskapazität. ^{[ 15 ]} Das RASHNL-Modell geht davon aus, dass die Aufmerksamkeit bei der Darbietung eines Reizes schnell verlagert wird, während das Lernen der Aufmerksamkeit über mehrere Versuche hinweg eher graduell erfolgt.

Diese Modelle wurden an empirische Daten aus zahlreichen Lernexperimenten mit Menschen angepasst und lieferten gute Erklärungen für die relativen Schwierigkeiten beim Erlernen verschiedener Assoziationstypen sowie für die Genauigkeit einzelner Reize während des Trainings und der Generalisierung. Diese Modelle können jedoch nicht alle Aspekte des Lernens erklären; beispielsweise war ein zusätzlicher Mechanismus erforderlich, um die Schnelligkeit des menschlichen Lernens von Umkehrverschiebungen zu erklären (d. h. was vorher „A“ war, ist jetzt „B“ und umgekehrt). ^{[ 16 ]}

Wenn Menschen im Laufe einer Trainingseinheit nacheinander Kombinationen einzelner Merkmale kategorisieren lernen, konzentrieren sie sich eher auf die charakteristischen Merkmale der später gelernten Elemente als auf deren vollständige Merkmalskombination. Diese Fokussierung auf die charakteristischen Merkmale später gelernter Elemente wird als „Highlighting-Effekt“ bezeichnet und basiert auf einer früheren Erkenntnis, dem sogenannten „inversen Basisrateneffekt“. ^{[ 17 ]}

Kruschke führte eine umfangreiche Reihe neuartiger Lernexperimente mit menschlichen Probanden durch und entwickelte zwei konnektionistische Modelle, um die Ergebnisse zu erklären. Das ADIT-Modell ^{[ 18 ]} lernte, distinktiven Merkmalen Aufmerksamkeit zu schenken, während das EXIT-Modell ^{[ 19 ]} schnelle Aufmerksamkeitsverlagerungen in jedem Durchgang nutzte. Ein kanonisches Hervorhebungsexperiment und eine Übersicht der Ergebnisse wurden in ^{[ 20 ] vorgestellt.}

Menschen können lernen, Reize anhand von Regeln wie „Ein Behälter für Flüssigkeiten, der breiter als hoch ist, wird als Schüssel bezeichnet“ zu klassifizieren, wobei Ausnahmen wie „außer in diesem speziellen Fall wird er als Becher bezeichnet“ gelten. Eine Reihe von Experimenten zeigte, dass Menschen neue Objekte, die einem Ausnahmefall relativ nahekommen, eher nach der Regel klassifizieren, als es exemplarbasierte Modelle vorhersagen würden. Um diese Ergebnisse zu erklären, entwickelten Erickson und Kruschke Hybridmodelle, die den Fokus zwischen regelbasierter und exemplarbasierter Repräsentation verlagerten. ^{[ 21 ] [ 22 ] [ 23 ]}

Menschen können auch kontinuierliche Beziehungen zwischen Variablen, sogenannte Funktionen, erlernen, wie zum Beispiel „Die Höhe einer Seite beträgt etwa das 1,5-fache ihrer Breite“. Wenn Menschen mit Beispielen von Funktionen trainiert werden, die Ausnahmefälle aufweisen, werden die Daten durch Hybridmodelle berücksichtigt, die lokal anwendbare Funktionsregeln kombinieren. ^{[ 24 ]}

Kruschke untersuchte auch Bayes'sche Modelle menschlicher Lernergebnisse, die bereits in seinen konnektionistischen Modellen behandelt wurden. Die Effekte sequenziellen oder sukzessiven Lernens (wie beispielsweise das oben erwähnte Hervorheben) können für Bayes'sche Modelle, die typischerweise von Reihenfolgeunabhängigkeit ausgehen, eine besondere Herausforderung darstellen. Anstatt anzunehmen, dass das gesamte Lernsystem global Bayes'sch ist, entwickelte Kruschke Modelle, in denen die Schichten des Systems lokal Bayes'sch sind. ^{[ 25 ]} Dieses „lokal Bayes'sche Lernen“ erklärte Phänomenkombinationen, die für nicht-Bayes'sche oder global Bayes'sche Lernmodelle schwer zu erfassen sind.

Ein weiterer Vorteil Bayes'scher Repräsentationen besteht darin, dass sie die Unsicherheit von Parameterwerten inhärent abbilden, im Gegensatz zu typischen konnektionistischen Modellen, die nur einen einzigen Wert für jeden Parameter speichern. Die Repräsentation der Unsicherheit kann genutzt werden, um aktives Lernen zu steuern, bei dem der Lernende entscheidet, welche Fälle als Nächstes am nützlichsten zu untersuchen sind. ^{[ 26 ]}

Kruschke trat 1989 als Dozent in die Fakultät des Fachbereichs Psychologie und Neurowissenschaften der Indiana University Bloomington ein. Er blieb an der IU, bis er 2022 als Provost Professor Emeritus in den Ruhestand trat.

Kruschke erwarb 1983 einen Bachelor of Arts in Mathematik mit Auszeichnung im Bereich Allgemeinbildung an der University of California, Berkeley. 1990 promovierte er ebenfalls an der UC Berkeley im Fach Psychologie.

Kruschke nahm 1978 am Summer Science Program der Thacher School in Ojai, Kalifornien, teil, das sich auf Astrophysik und Himmelsmechanik konzentrierte. 1988 besuchte er die Connectionist Models Summer School ^{[ 27 ]} an der Carnegie Mellon University .

• Phi Beta Kappa (akademische Ehrengesellschaft), 1982.
• Stipendium der National Science Foundation für Graduierte , 1983.
• National Institute of Mental Health FIRST Award , 1994.
• Auszeichnungen der Kuratoren der Indiana University für herausragende Lehre: 1997, 1998, 1999, 2008, 2009, 2010, 2011, 2012. ^{[ 28 ]}
• Troland-Forschungspreis der Nationalen Akademie der Wissenschaften, 2002. ^{[ 5 ]}
• Remak Distinguished Scholar Award, Indiana University, 2012.
• Provost Professor, Indiana University, 2018. ^{[ 3 ] [ 4 ]}

• Offizielle Website
• Fakultätsseite
• Die von Google Scholar indexierten Publikationen von John K. Kruschke