Anhang B: Pointer zum Lernen und Stöbern

Auf dieser Seite finden Sie viele Pointer, um Ihren Vorlesungsbesuch durch andere Quellen anzureichern oder um sich in verschiedene Richtung weiter zu spezialisieren. Alle Literaturangaben finden Sie gesammelt unter Literatur.

Da sich hier inzwischen relativ viele Quellen angesammelt haben, gebe ich Ihnen hier eine short list mit meinen persönlichen Empfehlungen:

  1. Kurse oder Videos von Andrew Ng: Hier finden Sie zu jedem Thema sehr verständliche Videos (siehe Links unten)
  2. Dive into Deep Learning Erstaunlich tiefes Online-Buch zu allen Theman rund um Deep Learning
  3. Kurse auf Kaggle: Legen Sie ein Konto an und schauen Sie sich bei learn um; die Kurse beinhalten auch Hands-On-Übungen auf Jupyter-Notebooks
  4. Lex Fridman Podcast: Mittlerweile ein weltweites Phänomen - hier können Sie Ihren Horizont erweitern und die Titanen der Wissenschaft kennenlernen
  5. Papers with code: Zum leichten Einstieg in aktuelle Forschungspublikationen

Ein schöner Überblicksartikel zum Thema Deep Learning ist An Overview of Deep Learning for Curious People von Lilian Weng (2017)

B.1 Fachbücher

Die Reihenfolge der folgenden Auflistung spiegelt ungefähr die Relevanz für die Vorlesung wieder. Da das Thema so aktuell ist, sollte man immer checken, ob es eine neue Auflage gibt.

B.2 Hochschul-Kurse

Hier liste ich eher Kursangebote aus dem Hochschulbereich. Weitere Kursangebote stehen unter “Webseiten”.

  • Online-Kurs Machine Learning von Andrew Ng auf der Plattform “Coursera” https://www.coursera.org/learn/machine-learning. Ursprünglich eine Vorlesung an der Stanford University. Vielleicht die weltweit bekannteste und populärste Vorlesung zu dem Thema. Viele der Videos sind auch auf YouTube zu finden. Exzellente Qualität und eine gelungende Gratwanderung zwischen Theorie und Anwendung.

  • Vorlesung Introduction to Deep Learning von Alexander Amini und Ava Soleimany am MIT (6.S191), http://introtodeeplearning.com. Auf der Homepage gibt es Videos, Folien und Übungsaufgaben. Sehr schöne Erklärungen und interessante Gastredner.

  • Vorlesung Applications of Deep Neural Networks for TensorFlow and Keras von Jeff Heaton an der Washington University in St. Louis als YouTube-Playlist. Jeff Heaton hat auch noch sehr viele andere Videos z.B. zu PyTorch oder Reinforcement Learning auf seinem YT-Kanal. Die Videos streifen die Theorie oft nur.

  • Online-Kurs Convolutional Neural Networks von Andrew Ng auf der Plattform “Coursera” https://www.coursera.org/learn/convolutional-neural-networks. Hier geht es primär um Bildverarbeitung, also z.B. um Objekterkennung und Gesichtserkennung.

  • Online-Kurs Sequence Models von Andrew Ng auf der Plattform “Coursera” https://www.coursera.org/learn/nlp-sequence-models. Hier geht es um Recurrent Neural Networks (RNNs) und natürlichsprachliche Daten.

  • Vorlesung Deep Learning (2020) von Yann LeCun an der NYU, als YouTube-Playlist. Die Vorlesung ist relativ “high level” und wird sehr schnell sehr komplex, aber ist natürlich eine gute Gelegenheit, Yann LeCun in Aktion zu sehen.

  • Vorlesung Deep Learning (2019) von Alex Smola an der UC Berkeley, als YouTube-Playlist mit Skript/Online-Buch Dive into Deep Learning, erarbeitet von Amazon-Wissenschaftlern.

  • Vorlesung Deep Learning (SS 2020) von Andreas Maier, Professor an der FAU Erlangen-Nürnberg, als YouTube-Playlist. Exzellente Vorlesung, die auch in der Theorie ins Detail geht und dennoch viel mit Beispielen arbeitet. Andreas Maier, Spezialist für Medizininformatik, hat noch andere Vorlesungen und Forschungsvideos auf seinem YT-Kanal.

B.3 Webseiten

Die Kategorie “Webseiten” ist quasi eine Ausrede für eine relativ ungeordnete Sammlung von Pointern.

Kurse / Online-Bücher

  • Dive into Deep Learning Erstaunlich tiefes Online-Buch zu allen Theman rund um Deep Learning
  • Deeplearningwizard Sehr solides Online-Buch, das viel mit PyTorch arbeitet.
  • Deeplearning.ai Firma mit Kursangebot zu Deep Learning (Bezahlkurse), gegründet von Andrew Ng, der auch viele Kurse gibt. Kursabschlüsse haben durch Andrew Ng eine hohe Reputation. Sehr empfehlenswert.
  • DeepLizard.com Erstaunlich gute Kurse (z.B. zu Reinforcement Learning, aber auch Keras und PyTorch), die derzeit (04/2021) noch kostenlos angeboten werden, mit Skript und Videos.
  • Fast.ai Weitere Bildungsorganisation, gegründet von Jeremy Howard. Sehr praxisorientierte, kostenlose Kurse und mit viel Code von fast.ai selbst. Ich habe keine Erfahrung mit den Kursen, bin aber vorsichtig skeptisch, wie tief die Kurse gehen.

Ressourcen

  • Kaggle.com Eine der großen Datensatz- und Competition-Plattformen für Maschinelles Lernen, die mittlerweile zu Google gehört. Hier kann man sich mit anderen Interessierten daran messen, wie gut man Vorhersagen auf Datensätzen leisten kann (mit Jupyter-Notebooks). Natürlich auch eine guter Ort, um Python-Code von anderen zu sehen und davon zu lernen.
  • Paperswithcode.com Hier werden Papers gesammelt, die sowohl Code und oft auch Datensätze anbieten (z.B. auf GibHub).

Einzelartikel

  • Seite von Scikit-learn zu “Neural network models (supervised)”: https://scikit-learn.org/stable/modules/neural_networks_supervised.html

Blogs von Einzelpersonen

Blogs von Forschungseinrichtungen

B.4 Konferenzen

Hier sind die größten und wichtigsten Konferenzen nach Kategorien gelistet. Relevant wären noch Konferenzen zu den Themen Mensch-Computer-Interaktion (z.B. CHI, INTERACT, IUI), Computergrafik (z.B. SIGGRAPH) oder Sprachverarbeitung (z.B. ACL, EMNLP, Interspeech).

Maschinelles Lernen

Künstliche Intelligenz

Bildverarbeitung

B.5 Populärwissenschaftliches

Neben den fachlich direkt relevanten Quellen möchte ich noch ein paar interessante Quellen zum Thema Künstliche Intelligenz empfehlen.

B.5.1 Podcast/Videos

Hier reicht eine einzige Empfehlung:

Lex Fridman Podcast: Es ist wirklich ein Rätsel, wie es dieser sympathische MIT-Student geschafft hat, praktisch jede Berühmtheit aus dem Bereich KI - und mittlerweile auch aus der Informatik, Physik, Ökonomie, Psychologie und Politik - zum jeweils 1-stündigen Interview zu bekommen, selbst den notorisch öffentlichkeitsscheuen Donald Knuth. Die Interviews gibt es auch auf seinem YouTube-Kanal. Natürlich sind Deep-Learning-Experten wie Yann LeCun, Yoshua Bengio, Jürgen Schmidhuber, Ian Goodfellow und Andrew Ng dabei sowie die beiden Autoren des weltweit meist genutzten KI-Lehrbuchs Peter Norvig und Stuart Russell. Mittlerweile findet man auch andere Berühmtheiten:

  • Unternehmer wie Elon Musk, Jeff Bezos, Mark Zuckerberg oder Sam Altman
  • Nobelpreisträger wie Paul Krugman und Daniel Kahnemann
  • Bestsellerautoren wie Yuval Harari
  • Podcast-Stars wie Joe Rogan, Andrew Huberman oder Sam Harris
  • Staatsoberhäupter wie Benjamin Netanyahu
  • Linguist und Aktivist Noam Chomsky
  • Mathematiker Roger Penrose
  • Psychologe Richard Dawkins
  • Regisseur Oliver Stone
  • Star-YouTuber MrBeast (erfolgreichster YouTuber aller Zeiten mit 240+ Mill. Abonennten)

etc. etc.

B.5.2 Bücher

Diese zwei Bücher enthalten Interviews mit Wissenschaftlern und Unternehmern im Bereich KI.

  • Brockman, John (2019) Possible Minds: Twenty-Five Ways of Looking at AI, Penguin, 320 Seiten
  • Ford, Martin (2018) Architects of Intelligence: The truth about AI from the people building it, Packt Publishing, 554 Seiten

Der Personenkreis ist ähnlich der Gästeliste von Lex Fridmans Podcast. Das Buch von Ford hat Frage-Antwort-Format, das Buch von Brockman enthält eine Reihe von Essays.

Dieses Buch befasst sich mit den Auswirkungen von KI und gehört sicher zu den besten seiner Art:

  • Tegmark, Max (2017) Life 3.0: Being Human in the Age of Artificial Intelligence, Penguin

Ein Reclam-Büchlein mit einem breiten Überblick über Technik und mögliche Anwendungen von KI:

  • Ramge, Thomas (2018) Mensch und Maschine: Wie künstliche Intelligenz und Roboter unser Leben verändern, Reclam

B.6 Zitationen

Zum Zitieren innerhalb des Textes halte ich mich lose an den Zitierstil der APA (American Psychological Association), d.h. ich gebe bei bis zu zwei Autoren die Namen und das Jahr an, bei drei und mehr Autoren, kommt das Kürzel “et al.” zum Einsatz:

Hier drei fiktive Beispiele:

In der Arbeit geht es darum, … zu zeigen (Ford, 2012)

In der Arbeit geht es darum, … zu zeigen (Hinton & LeCun, 2014)

In der Arbeit geht es darum, … zu zeigen (Ng et al., 2018)

Beim Literaturverzeichnis nutze ich eine Mischung aus APA-Stil und ACM-Stil (ACM = Association for Computing Machinery). Konkret:

AUTOREN (JAHR) TITEL. In: PUBLIKATION, SEITEN.

Dabei kann PUBLIKATION ein Konferenzband oder eine Fachzeitschrift sein. Bei einer Zeitschrift steht optional noch Band (Volume) und Nummer im Format VOLUME: NUMBER dabei.

Die AUTOREN sind in folgendem Format gelistet:

NACHNAME, VORNAME; NACHNAME, VORNAME ...

Wer sich über die Zitierformate informieren will: Ich empfehle den APA Citation Guide von Mendeley und von der ACM die Seite Citation Style and Reference Formats.