Alex Krizhevsky ist ein kanadischer Informatiker, der vor allem für seine Arbeiten zu künstlichen neuronalen Netzen und Deep Learning bekannt ist . Im Jahr 2012 entwickelten Krizhevsky, Ilya Sutskever und ihr Doktorvater Geoffrey Hinton an der Universität Toronto [ 1 ] das leistungsstarke visuelle Erkennungsnetzwerk AlexNet , das lediglich zwei GPUs der Marke GeForce nutzte . [ 2 ] Dies revolutionierte die Forschung im Bereich neuronaler Netze. Zuvor wurden neuronale Netze auf CPUs trainiert . Der Übergang zu GPUs ebnete den Weg für die Entwicklung fortschrittlicher KI- Modelle. [ 2 ]

AlexNet

Motiviert durch Sutskever und inspiriert von Hinton entwickelte Krizhevsky AlexNet, um die Grenzen der Bilderkennung und -klassifizierung zu erweitern. Aufbauend auf Convolutional Neural Networks und Sutskevers Ansatz tiefer neuronaler Netze, der die neuronalen Schichten weit über die damaligen Konventionen hinaus vertiefte – sowie durch die Hinzunahme von Dropout zur Verbesserung der Trainingsstabilität – gewann AlexNet 2012 die ImageNet-Challenge . Das Team präsentierte seine Arbeit zu AlexNet [ 3 ] auf der NeurIPS (NIPS) 2012 .

Kurz nach dem Debüt von AlexNet verkauften Krizhevsky und Sutskever ihr Startup DNN Research Inc. an Google . Krizhevsky verließ Google im September 2017, da er das Interesse an der Arbeit verloren hatte, um bei Dessa neue Deep-Learning-Techniken zu unterstützen. [ 1 ] Viele seiner zahlreichen Veröffentlichungen zu maschinellem Lernen und Computer Vision werden häufig von anderen Forschern zitiert. [ 4 ] Er ist außerdem Hauptautor der Datensätze CIFAR-10 und CIFAR-100. [ 5 ] [ 6 ]

Vermächtnis

AlexNet gilt weithin als Auslöser der Deep-Learning-Revolution . Sein Erfolg demonstrierte die Effektivität tiefer neuronaler Netze, die auf GPUs trainiert wurden, und führte zu rasanten Fortschritten in zahlreichen Bereichen der künstlichen Intelligenz, die weit über die Computer Vision hinausgehen. Die von AlexNet entwickelten Techniken und die damit verbundene Dynamik prägten die Entwicklung moderner Modelle zur Verarbeitung natürlicher Sprache, darunter groß angelegte, auf Transformer basierende Modelle wie BERT und GPT , die Tools wie ChatGPT antreiben . [ 7 ]

Referenzen

  1. ^ a b Gershgorn, Dave (18. Juni 2018). „Die Insidergeschichte, wie KI gut genug wurde, um das Silicon Valley zu dominieren“ . Quartz . Abgerufen am 23. Februar 2021 .
  2. ^ a b Witt, Stephen (27. November 2023). „Wie Jensen Huangs Nvidia die KI-Revolution antreibt“ . The New Yorker . Abgerufen am 24. Dezember 2023 .
  3. ^ Krizhevsky, Alex; Sutskever, Ilya ; Hinton, Geoffrey E. (3. Dezember 2012). „ImageNet-Klassifizierung mit tiefen Faltungsneuronalen Netzen“ . In: F. Pereira; C. J. C. Burges; L. Bottou; K. Q. Weinberger (Hrsg.). NIPS’12: Proceedings of the 25th International Conference on Neural Information Processing Systems . Band 1. Curran Associates. S.  1097–1105 . Archiviert vom Original am 20. Dezember 2019. Abgerufen am 13. März 2018 .
  4. ^ „Alex Krizhevsky“ . Google Scholar-Zitate .
  5. ^ „CIFAR-10- und CIFAR-100-Datensätze“ . Abgerufen am 7. März 2021 .
  6. ^ Krizhevsky, Alex (2009), Lernen mehrerer Merkmalsebenen aus winzigen Bildern (PDF) , CiteSeerX 10.1.1.222.9220 , S2CID 18268744  
  7. ^ LeCun, Yann; Bengio, Yoshua; Hinton, Geoffrey (2015). „Deep Learning“. Nature . 521 : 436–444 . doi : 10.1038/nature14539 . PMID 26017442 .