Updates dieser Seite:

  • 20.03.2022: v1 Neues Semester

Auf dieser Seite finden Sie viele Pointer, um Ihren Vorlesungsbesuch durch andere Quellen anzureichern oder um sich in verschiedene Richtung weiter zu spezialisieren.

Hier eine Auswahl an Überblicksartikeln zum Thema Deep Learning:

An Overview of Deep Learning for Curious People von Lilian Weng (2017)

1 Fachliche Quellen

Die Vorlesung stützt sich auf viele Quellen, die im folgenden genannt sind. Innerhalb des Skripts verwende ich die entsprechenden Abkürzungen in eckigen Klammern, z.B. [Ng ML]. Zur besseren Lesbarkeit verwende ich für die Abkürzung jeweils nur den Namen des/der Erstautoren/in. Informationen zum Zitatsformat finden Sie im letzten Abschnitt.

Hochschul-Kurse

Hier liste ich eher Kursangebote aus dem Hochschulbereich. Weitere Kursangebote unter "Webseiten".

[Ng ML] Online-Kurs Machine Learning von Andrew Ng auf der Plattform "Coursera" https://www.coursera.org/learn/machine-learning. Ursprünglich eine Vorlesung an der Stanford University. Vielleicht die weltweit bekannteste und populärste Vorlesung zu dem Thema. Viele der Videos sind auch auf YouTube zu finden. Exzellente Qualität und eine gelungende Gratwanderung zwischen Theorie und Anwendung.

[Ng CNN] Online-Kurs Convolutional Neural Networks von Andrew Ng auf der Plattform "Coursera" https://www.coursera.org/learn/convolutional-neural-networks. Hier geht es primär um Bildverarbeitung, also z.B. um Objekterkennung und Gesichtserkennung.

[Ng SM] Online-Kurs Sequence Models von Andrew Ng auf der Plattform "Coursera" https://www.coursera.org/learn/nlp-sequence-models. Hier geht es um Recurrent Neural Networks (RNNs) und natürlichsprachliche Daten.

[LeCun 2020] Vorlesung Deep Learning (2020) von Yann LeCun an der NYU, als YouTube-Playlist. Die Vorlesung ist relativ "high level" und wird sehr schnell sehr komplex, aber ist natürlich eine gute Gelegenheit, Yann LeCun in Aktion zu sehen.

[Heaton 2020] Vorlesung Applications of Deep Neural Networks for TensorFlow and Keras von Jeff Heaton an der Washington University in St. Louis als YouTube-Playlist. Jeff Heaton hat auch noch sehr viele andere Videos z.B. zu PyTorch oder Reinforcement Learning auf seinem YT-Kanal. Die Videos streifen die Theorie oft nur.

[Smola 2019] Vorlesung Deep Learning (2019) von Alex Smola an der UC Berkeley, als YouTube-Playlist mit Skript/Online-Buch Dive into Deep Learning, erarbeitet von Amazon-Wissenschaftlern.

[Maier 2020] Vorlesung Deep Learning (SS 2020) von Andreas Maier, Professor an der FAU Erlangen-Nürnberg, als YouTube-Playlist. Exzellente Vorlesung, die auch in der Theorie ins Detail geht und dennoch viel mit Beispielen arbeitet. Andreas Maier, Spezialist für Medizininformatik, hat noch andere Vorlesungen und Forschungsvideos auf seinem YT-Kanal.

[Amini 2021] Vorlesung Introduction to Deep Learning von Alexander Amini und Ava Soleimany am MIT (6.S191), http://introtodeeplearning.com. Auf der Homepage gibt es Videos, Folien und Übungsaufgaben. Sehr schöne Erklärungen und interessante Gastredner und natürlich... MIT.

Papers

Deutsche Bücher

Es gibt zwar einige deutsche Bücher, aber ich habe nur wenige von ihnen gelesen. Natürlich gibt es von den englischen Büchern (s.u.) in der Regel auch eine deutsche Übersetzung.

[Steinwendner 2020] Steinwendner, Joachim; Schwaiger, Roland (2020) Neuronale Netze programmieren mit Python, 2. Auflage, Rheinwerk Computing

Englische Bücher

Die Reihenfolge der folgenden Auflistung spiegelt ungefähr die Relevanz für die Vorlesung wieder. Da das Thema so aktuell ist, sollte man immer checken, ob es eine neue Auflage gibt.

[Raschka 2022] Raschka, Sebastian; Liu, Yuxi (Hayden); Mirjalili, Vahid (2022) Machine Learning with PyTorch and Scikit-Learn: Develop machine learning and deep learning models with Python, Packt Publishing

[Raschka 2019] Raschka, Sebastian; Mirjalili, Vahid (2019) Python Machine Learning - Machine Learning and Deep Learning with Python, scikit-learn, and TensorFlow 2, 3rd Edition, Packt Publishing

[Burkov 2019] Burkov, Andriy (2019) The Hundred-Page Machine Learning Book (auch online lesbar)

[Chollet 2021] Chollet, François (2021) Deep Learning with Python, 2nd Edition, Manning

[Goodfellow 2016] Goodfellow, Ian; Bengio, Yoshua; Courville, Aaron (2016) Deep Learning, MIT Press (auch online lesbar)

[Géron 2019] Géron, Aurélien (2019) Hands-On Machine Learning with Scikit-Learn, Keras, and TensorFlow: Concepts, Tools, and Techniques to Build Intelligent Systems, 2nd Edition, O'Reilly

[Albon 2018] Albon, Chris (2018) Python Machine Learning Cookbook: Practical solutions from preprocessing to deep learning, O'Reilly

[Boyd 2018] Boyd, Stephen; Vandenberghe, Lieven (2018) Introduction to Applied Linear Algebra: Vectors, Matrices, and Least Squares, Cambridge University Press (auch online als PDF verfügbar)

[Trask 2019] Trask, Andrew (2019) Grokking Deep Learning, Manning Publications

2 Webseiten

Die Kategorie "Webseiten" ist quasi eine Ausrede für eine relativ ungeordnete Sammlung von Pointern.

Kurse / Online-Bücher

  • Deeplearningwizard Sehr solides Online-Buch, das viel mit PyTorch arbeitet.
  • Deeplearning.ai Firma mit Kursangebot zu Deep Learning (Bezahlkurse), gegründet von Andrew Ng, der auch viele Kurse gibt. Kursabschlüsse haben durch Andrew Ng eine hohe Reputation. Sehr empfehlenswert.
  • DeepLizard.com Erstaunlich gute Kurse (z.B. zu Reinforcement Learning, aber auch Keras und PyTorch), die derzeit (04/2021) noch kostenlos angeboten werden, mit Skript und Videos.
  • Fast.ai Weitere Bildungsorganisation, gegründet von Jeremy Howard. Sehr praxisorientierte, kostenlose Kurse und mit viel Code von fast.ai selbst. Ich habe keine Erfahrung mit den Kursen, bin aber vorsichtig skeptisch, wie tief die Kurse gehen.

Ressourcen

  • Kaggle.com Eine der großen Datensatz- und Competition-Plattformen für Maschinelles Lernen. Hier kann man sich mit anderen Interessierten daran messen, wie gut man Vorhersagen auf Datensätzen leisten kann (mit Jupyter-Notebooks). Natürlich auch eine guter Ort, um Python-Code von anderen zu sehen und davon zu lernen.
  • Paperswithcode.com Hier werden Papers gesammelt, die sowohl Code und oft auch Datensätze anbieten (z.B. auf GibHub).

Einzelartikel

Blogs von Einzelpersonen

Blogs von Forschungseinrichtungen

3 Wissenschaftliche Konferenzen

Hier sind die größten und wichtigsten Konferenzen nach Kategorien gelistet. Relevant wären noch Konferenzen zu den Themen Mensch-Computer-Interaktion (z.B. CHI, INTERACT, IUI), Computergrafik (z.B. SIGGRAPH) oder Sprachverarbeitung (z.B. ACL, EMNLP, Interspeech).

Maschinelles Lernen

Künstliche Intelligenz

Bildverarbeitung

4 Populärwissenschaftliche Quellen

Neben den fachlich direkt relevanten Quellen möchte ich noch ein paar interessante Quellen zum Thema Künstliche Intelligenz empfehlen.

Podcast/Videos

Hier reicht eine einzige Empfehlung:

Artificial Intelligence Podcast von Lex Fridman: Es ist wirklich ein Rätsel, wie es ein MIT-Student geschafft hat, praktisch jede Berühmtheit aus dem Bereich KI - und mittlerweile auch aus der Informatik, Physik, Ökonomie und Psychologie - zum jeweils 1-stündigen Interview zu bekommen, selbst den notorisch öffentlichkeitsscheuen Donald Knuth. Die Interviews gibt es (teilweise) auch auf seinem YouTube-Kanal. Natürlich sind Deep-Learning-Experten wie Yann LeCun, Yoshua Bengio, Jürgen Schmidhuber, Ian Goodfellow und Andrew Ng dabei sowie die beiden Autoren des weltweit meist genutzten KI-Lehrbuchs Peter Norvig und Stuart Russell, aber auch jemand wie der Unternehmer Elon Musk, die Nobelpreisträger Paul Krugman und Daniel Kahnemann, der britische Mathematiker Roger Penrose, der Psychologe Richard Dawkins etc. etc.

Bücher

Diese zwei Bücher enthalten Interviews mit Wissenschaftlern und Unternehmern im Bereich KI.

  • Brockman, John (2019) Possible Minds: Twenty-Five Ways of Looking at AI, Penguin, 320 Seiten
  • Ford, Martin (2018) Architects of Intelligence: The truth about AI from the people building it, Packt Publishing, 554 Seiten

Der Personenkreis ist ähnlich der Gästeliste von Lex Fridmans Podcast. Das Buch von Ford hat Frage-Antwort-Format, das Buch von Brockman enthält eine Reihe von Essays.

Dieses Buch befasst sich mit den Auswirkungen von KI und gehört sicher zu den besten seiner Art:

  • Tegmark, Max (2017) Life 3.0: Being Human in the Age of Artificial Intelligence, Penguin

Ein Reclam-Büchlein mit einem breiten Überblick über Technik und mögliche Anwendungen von KI:

  • Ramge, Thomas (2018) Mensch und Maschine: Wie künstliche Intelligenz und Roboter unser Leben verändern, Reclam

5 Zitationen

Zum Zitieren innerhalb des Textes halte ich mich lose an den Zitierstil der APA (American Psychological Association), d.h. ich gebe bei bis zu zwei Autoren die Namen und das Jahr an, bei drei und mehr Autoren, kommt das Kürzel "et al." zum Einsatz:

Hier drei fiktive Beispiele:

In der Arbeit geht es darum, ... zu zeigen (Ford, 2012)

In der Arbeit geht es darum, ... zu zeigen (Hinton & LeCun, 2014)

In der Arbeit geht es darum, ... zu zeigen (Ng et al., 2018)

Beim Literaturverzeichnis nutze ich eine Mischung aus APA-Stil und ACM-Stil (ACM = Association for Computing Machinery). Konkret:

AUTOREN (JAHR) TITEL. In: PUBLIKATION, SEITEN.

Dabei kann PUBLIKATION ein Konferenzband oder eine Fachzeitschrift sein. Bei einer Zeitschrift steht optional noch Band (Volume) und Nummer im Format VOLUME: NUMBER dabei.

Die AUTOREN sind in folgendem Format gelistet:

NACHNAME, VORNAME; NACHNAME, VORNAME ...

Wer sich über die Zitierformate informieren will: Ich empfehle den APA Citation Guide von Mendeley und von der ACM die Seite Citation Style and Reference Formats.