Anhang B: Quellen zum Lernen und Stöbern

Auf dieser Seite finden Sie Pointer, um Ihren Vorlesungsbesuch durch andere Quellen anzureichern oder um sich in verschiedene Richtungen weiter zu spezialisieren. Alle Literaturangaben finden Sie als große Liste gesammelt unter Literatur.

B.1 Fachbücher

Dies ist eine fokussierte Auswahl von Fachbüchern, die ich alle empfehlen kann. Die Bücher unterscheiden sich darin, wie breit oder tief ein Thema behandelt wird und wie groß der Praxisanteil ist.

Neuronale Netze:

Large Language Models:

Maschinelles Lernen und Mathematik:

B.2 Hochschul-Kurse

Hier finden Sie Kursangebote aus dem Hochschulbereich. Weitere Kursangebote stehen unter “Webseiten”.

  • Online-Kurs: Machine Learning von Andrew Ng auf der Plattform “Coursera”. Ursprünglich eine Vorlesung an der Stanford University. Vielleicht die weltweit bekannteste und populärste Vorlesung zu dem Thema. Viele der Videos sind auch auf YouTube zu finden. Exzellente Qualität und eine gelungende Gratwanderung zwischen Theorie und Anwendung.

  • Vorlesung: Introduction to Deep Learning von Alexander Amini und Ava Soleimany am MIT. Auf der Homepage gibt es Videos, Folien und Übungsaufgaben. Sehr schöne Erklärungen und interessante Gastredner.

  • Vorlesung Applications of Deep Neural Networks for TensorFlow and Keras von Jeff Heaton an der Washington University in St. Louis als YouTube-Playlist. Jeff Heaton hat auch noch sehr viele andere Videos z.B. zu PyTorch oder Reinforcement Learning auf seinem YT-Kanal. Die Videos streifen die Theorie oft nur.

  • Online-Kurs: Convolutional Neural Networks von Andrew Ng auf der Plattform “Coursera”. Hier geht es primär um Bildverarbeitung, also z.B. um Objekterkennung und Gesichtserkennung.

  • Online-Kurs: Sequence Models von Andrew Ng auf der Plattform “Coursera”. Hier geht es um Recurrent Neural Networks (RNNs) und natürlichsprachliche Daten.

  • Vorlesung Deep Learning (2020) von Yann LeCun an der NYU, als YouTube-Playlist. Die Vorlesung ist relativ “high level” und wird sehr schnell sehr komplex, aber ist natürlich eine gute Gelegenheit, Yann LeCun in Aktion zu sehen.

  • Vorlesung Deep Learning (2019) von Alex Smola an der UC Berkeley, als YouTube-Playlist mit Skript/Online-Buch Dive into Deep Learning, erarbeitet von Amazon-Wissenschaftlern.

  • Vorlesung Deep Learning (SS 2020) von Andreas Maier, Professor an der FAU Erlangen-Nürnberg, als YouTube-Playlist. Exzellente Vorlesung, die auch in der Theorie ins Detail geht und dennoch viel mit Beispielen arbeitet. Andreas Maier, Spezialist für Medizininformatik, hat noch andere Vorlesungen und Forschungsvideos auf seinem YT-Kanal.

B.3 Webseiten, Kurse, Blogs

Hier eine relativ ungeordnete Sammlung von Pointern.

Kurse / Online-Bücher

  • Dive into Deep Learning Erstaunlich tiefes Online-Buch zu allen Theman rund um Deep Learning
  • Deeplearningwizard Sehr solides Online-Buch, das viel mit PyTorch arbeitet.
  • Deeplearning.ai Firma mit Kursangebot zu Deep Learning (Bezahlkurse), gegründet von Andrew Ng, der auch viele Kurse gibt. Kursabschlüsse haben durch Andrew Ng eine hohe Reputation. Sehr empfehlenswert.
  • DeepLizard.com Erstaunlich gute Kurse (z.B. zu Reinforcement Learning, aber auch Keras und PyTorch), die derzeit (04/2021) noch kostenlos angeboten werden, mit Skript und Videos.
  • Fast.ai Weitere Bildungsorganisation, gegründet von Jeremy Howard. Sehr praxisorientierte, kostenlose Kurse und mit viel Code von fast.ai selbst. Ich habe keine Erfahrung mit den Kursen, bin aber vorsichtig skeptisch, wie tief die Kurse gehen.

Ressourcen

  • Kaggle.com Eine der großen Datensatz- und Competition-Plattformen für Maschinelles Lernen, die mittlerweile zu Google gehört. Hier kann man sich mit anderen Interessierten daran messen, wie gut man Vorhersagen auf Datensätzen leisten kann (mit Jupyter-Notebooks). Natürlich auch eine guter Ort, um Python-Code von anderen zu sehen und davon zu lernen.
  • Paperswithcode.com Hier werden Papers gesammelt, die sowohl Code und oft auch Datensätze anbieten (z.B. auf GibHub).

Blogs von Einzelpersonen

Blogs von Forschungseinrichtungen

B.4 Konferenzen

Hier sind die größten und wichtigsten Konferenzen nach Kategorien gelistet. Relevant wären noch Konferenzen zu den Themen Mensch-Computer-Interaktion (z.B. CHI, INTERACT, IUI), Computergrafik (z.B. SIGGRAPH) oder Sprachverarbeitung (z.B. ACL, EMNLP, Interspeech).

Maschinelles Lernen

Künstliche Intelligenz

Bildverarbeitung

B.5 Populärwissenschaft

Neben den fachlich direkt relevanten Quellen möchte ich noch ein paar interessante Quellen zum Thema Künstliche Intelligenz empfehlen.

B.5.1 Lex Fridman Podcast

Der Lex Fridman Podcast ist wirklich ein Phänomen. Dass es ein MIT-Student geschafft hat, praktisch jede Berühmtheit aus dem Bereich KI - und mittlerweile auch aus der Informatik, Physik, Ökonomie, Psychologie und Politik - zum jeweils 1- bis 3-stündigen Interview zu bekommen, selbst Staatschefs sind mittlerweile in der Show. Die Interviews gibt es auch auf seinem YouTube-Kanal. Natürlich sind Deep-Learning-Experten wie Yann LeCun, Yoshua Bengio, Jürgen Schmidhuber, Ian Goodfellow und Andrew Ng dabei sowie die beiden Autoren des weltweit meist genutzten KI-Lehrbuchs Peter Norvig und Stuart Russell. Mittlerweile findet man auch andere Berühmtheiten:

  • Nobelpreisträger wie Paul Krugman und Daniel Kahnemann
  • Unternehmer wie Elon Musk, Jeff Bezos, Mark Zuckerberg oder Sam Altman
  • Bestsellerautoren wie Yuval Harari
  • Podcaster wie Andrew Huberman oder Sam Harris
  • Staatsoberhäupter wie Trump, Selenskyj und Netanyahu
  • Linguist und Aktivist Noam Chomsky
  • Regisseur Oliver Stone
  • Star-YouTuber MrBeast (erfolgreichster YouTuber aller Zeiten mit 240+ Mill. Abonennten)

etc. etc.

B.5.2 Bücher

Die Bücher Possible Minds (Brockman 2019) und Architects of Intelligence (Ford 2018) enthalten Interviews mit Wissenschaftlern und Unternehmern im Bereich KI.

Das Buch Life 3.0 (Tegmark 2017) befasst sich mit den Auswirkungen von KI und gehört sicher zu den besten seiner Art.