Anhang B: Quellen zum Lernen und Stöbern
Auf dieser Seite finden Sie Pointer, um Ihren Vorlesungsbesuch durch andere Quellen anzureichern oder um sich in verschiedene Richtungen weiter zu spezialisieren. Alle Literaturangaben finden Sie als große Liste gesammelt unter Literatur.
B.1 Fachbücher
Dies ist eine fokussierte Auswahl von Fachbüchern, die ich alle empfehlen kann. Die Bücher unterscheiden sich darin, wie breit oder tief ein Thema behandelt wird und wie groß der Praxisanteil ist.
Neuronale Netze:
- Deep Learning with Python (Chollet 2021)
- Learning Deep Learning (Ekman 2021)
- Machine Learning with PyTorch and Scikit-Learn (Raschka, Liu, and Mirjalili 2022)
- Grokking Deep Learning (Trask 2019)
Large Language Models:
- Hands-On Large Language Models (Alammar and Grootendorst 2024)
- Build a Large Language Model from Scratch (Raschka 2024)
- Natural Language Processing with Transformers (Tunstall, von Werra, and Wolf 2022)
Maschinelles Lernen und Mathematik:
- The Hundred-Page Machine Learning Book (Burkov 2019), auch online lesbar
- Introduction to Applied Linear Algebra (Boyd and Vandenberghe 2018), auch online lesbar
B.2 Hochschul-Kurse
Hier finden Sie Kursangebote aus dem Hochschulbereich. Weitere Kursangebote stehen unter “Webseiten”.
Online-Kurs: Machine Learning von Andrew Ng auf der Plattform “Coursera”. Ursprünglich eine Vorlesung an der Stanford University. Vielleicht die weltweit bekannteste und populärste Vorlesung zu dem Thema. Viele der Videos sind auch auf YouTube zu finden. Exzellente Qualität und eine gelungende Gratwanderung zwischen Theorie und Anwendung.
Vorlesung: Introduction to Deep Learning von Alexander Amini und Ava Soleimany am MIT. Auf der Homepage gibt es Videos, Folien und Übungsaufgaben. Sehr schöne Erklärungen und interessante Gastredner.
Vorlesung Applications of Deep Neural Networks for TensorFlow and Keras von Jeff Heaton an der Washington University in St. Louis als YouTube-Playlist. Jeff Heaton hat auch noch sehr viele andere Videos z.B. zu PyTorch oder Reinforcement Learning auf seinem YT-Kanal. Die Videos streifen die Theorie oft nur.
Online-Kurs: Convolutional Neural Networks von Andrew Ng auf der Plattform “Coursera”. Hier geht es primär um Bildverarbeitung, also z.B. um Objekterkennung und Gesichtserkennung.
Online-Kurs: Sequence Models von Andrew Ng auf der Plattform “Coursera”. Hier geht es um Recurrent Neural Networks (RNNs) und natürlichsprachliche Daten.
Vorlesung Deep Learning (2020) von Yann LeCun an der NYU, als YouTube-Playlist. Die Vorlesung ist relativ “high level” und wird sehr schnell sehr komplex, aber ist natürlich eine gute Gelegenheit, Yann LeCun in Aktion zu sehen.
Vorlesung Deep Learning (2019) von Alex Smola an der UC Berkeley, als YouTube-Playlist mit Skript/Online-Buch Dive into Deep Learning, erarbeitet von Amazon-Wissenschaftlern.
Vorlesung Deep Learning (SS 2020) von Andreas Maier, Professor an der FAU Erlangen-Nürnberg, als YouTube-Playlist. Exzellente Vorlesung, die auch in der Theorie ins Detail geht und dennoch viel mit Beispielen arbeitet. Andreas Maier, Spezialist für Medizininformatik, hat noch andere Vorlesungen und Forschungsvideos auf seinem YT-Kanal.
B.3 Webseiten, Kurse, Blogs
Hier eine relativ ungeordnete Sammlung von Pointern.
Kurse / Online-Bücher
- Dive into Deep Learning Erstaunlich tiefes Online-Buch zu allen Theman rund um Deep Learning
- Deeplearningwizard Sehr solides Online-Buch, das viel mit PyTorch arbeitet.
- Deeplearning.ai Firma mit Kursangebot zu Deep Learning (Bezahlkurse), gegründet von Andrew Ng, der auch viele Kurse gibt. Kursabschlüsse haben durch Andrew Ng eine hohe Reputation. Sehr empfehlenswert.
- DeepLizard.com Erstaunlich gute Kurse (z.B. zu Reinforcement Learning, aber auch Keras und PyTorch), die derzeit (04/2021) noch kostenlos angeboten werden, mit Skript und Videos.
- Fast.ai Weitere Bildungsorganisation, gegründet von Jeremy Howard. Sehr praxisorientierte, kostenlose Kurse und mit viel Code von fast.ai selbst. Ich habe keine Erfahrung mit den Kursen, bin aber vorsichtig skeptisch, wie tief die Kurse gehen.
Ressourcen
- Kaggle.com Eine der großen Datensatz- und Competition-Plattformen für Maschinelles Lernen, die mittlerweile zu Google gehört. Hier kann man sich mit anderen Interessierten daran messen, wie gut man Vorhersagen auf Datensätzen leisten kann (mit Jupyter-Notebooks). Natürlich auch eine guter Ort, um Python-Code von anderen zu sehen und davon zu lernen.
- Paperswithcode.com Hier werden Papers gesammelt, die sowohl Code und oft auch Datensätze anbieten (z.B. auf GibHub).
Blogs von Einzelpersonen
- Blog von Jefkine Kafunah: Hier stehen einige wirklich gute Darstellungen zu Backpropagation und CNNs.
- Blog von Christopher Olah: Ehemaliger Google Brain Researcher, jetzt bei OpenAI.
- Blog von Sebastian Raschka: Ehemaliger Professor an der U Wisconsin-Madison und Autor mehrerer Fachbücher (s. o.).
- Blog von Lilian Weng: Forscherin bei OpenAI, auch auf Twitter (lilianweng?)
- Blog von Tim Dettmers: Doktorand an der U Washington, interessante Artikel u.a. zu Hardwarefragen.
Blogs von Forschungseinrichtungen
- Google AI Blog
- Facebook AI Research (FAIR) Blog
- OpenAI Blog
- Berkeley AI Research (BAIR) Blog
- DeepMind Blog (DeepMind gehört seit 2014 zu Google)
- MIT Machine Learning News
B.4 Konferenzen
Hier sind die größten und wichtigsten Konferenzen nach Kategorien gelistet. Relevant wären noch Konferenzen zu den Themen Mensch-Computer-Interaktion (z.B. CHI, INTERACT, IUI), Computergrafik (z.B. SIGGRAPH) oder Sprachverarbeitung (z.B. ACL, EMNLP, Interspeech).
Maschinelles Lernen
- NeurIPS (früher NIPS): Conference on Neural Information Processing Systems, Hauptkonferenz für Neuronale Netze, jährlich
- ICML: International Conference on Machine Learning, Hauptkonferenz für Maschinelles Lernen, jährlich
Künstliche Intelligenz
- IJCAI: International Joint Conferences on Artificial Intelligence, Hauptkonferenz für Künstliche Intelligenz jeder Art, jährlich
- AAAI: Association for the Advancement of Artificial Intelligence Conference, US-zentrierte KI-Konferenz, jährlich
Bildverarbeitung
- CVPR: Conference on Computer Vision and Pattern Recognition, Hauptkonferenz der IEEE für Bildverarbeitung, jährlich
- ICCV: International Conference on Computer Vision, Hauptkonferenz der IEEE für Bildverarbeitung, 2-jährlich
B.5 Populärwissenschaft
Neben den fachlich direkt relevanten Quellen möchte ich noch ein paar interessante Quellen zum Thema Künstliche Intelligenz empfehlen.
B.5.1 Lex Fridman Podcast
Der Lex Fridman Podcast ist wirklich ein Phänomen. Dass es ein MIT-Student geschafft hat, praktisch jede Berühmtheit aus dem Bereich KI - und mittlerweile auch aus der Informatik, Physik, Ökonomie, Psychologie und Politik - zum jeweils 1- bis 3-stündigen Interview zu bekommen, selbst Staatschefs sind mittlerweile in der Show. Die Interviews gibt es auch auf seinem YouTube-Kanal. Natürlich sind Deep-Learning-Experten wie Yann LeCun, Yoshua Bengio, Jürgen Schmidhuber, Ian Goodfellow und Andrew Ng dabei sowie die beiden Autoren des weltweit meist genutzten KI-Lehrbuchs Peter Norvig und Stuart Russell. Mittlerweile findet man auch andere Berühmtheiten:
- Nobelpreisträger wie Paul Krugman und Daniel Kahnemann
- Unternehmer wie Elon Musk, Jeff Bezos, Mark Zuckerberg oder Sam Altman
- Bestsellerautoren wie Yuval Harari
- Podcaster wie Andrew Huberman oder Sam Harris
- Staatsoberhäupter wie Trump, Selenskyj und Netanyahu
- Linguist und Aktivist Noam Chomsky
- Regisseur Oliver Stone
- Star-YouTuber MrBeast (erfolgreichster YouTuber aller Zeiten mit 240+ Mill. Abonennten)
etc. etc.
B.5.2 Bücher
Die Bücher Possible Minds (Brockman 2019) und Architects of Intelligence (Ford 2018) enthalten Interviews mit Wissenschaftlern und Unternehmern im Bereich KI.
Das Buch Life 3.0 (Tegmark 2017) befasst sich mit den Auswirkungen von KI und gehört sicher zu den besten seiner Art.