Neurale Netze und Deep Learning

Michael Kipp

Willkommen

In diesem Online-Buch geht es um Neuronale Netze in Theorie und Praxis. Neuronale Netze sind die Kerntechnologie für Large Language Models (LLM), Anwendungen wie ChatGPT, Technologien aus der Bilderkennung wie Gesichtserkennung und Objekt-Tracking oder generative KI für Bild und Film.

In diesem Buch wird neben der Theorie auch die praktische Implementierung mit Hilfe der Programmiersprache Python behandelt. Wir sehen uns Feedforward-Netze an, ihre mathematische Definition und wie man in diesen Netzen das Lernen mit dem Backpropagation-Verfahren realisiert. Insbesondere behandeln wir Automatische Differenzierung als Verallgemeinerung von Backpropagation. Desweiteren lernen wir Konvolutionsnetze, rekurrente Netze und Transformer-Netze kennen. Als Anwendungsbeispiele behandeln wir einfache Vorhersageszenarien (z.B. Hauspreise) sowie Bildverarbeitung und Sprachverarbeitung.

Zur Navigation finden Sie am linken Rand jeder Seite die Kapitelübersicht (eventuell eingeklappt) und innerhalb eines jeden Kapitels am rechten Rand die Kapitelinhalte (bei der mobilen Ansicht fällt diese ab einer bestimmten Größe weg).

Um den technischen Teilen zu folgen, richten Sie Ihren Computer so ein wie in Anhang A beschrieben. Um einen Überblick über weiteres Material (Bücher, Webseiten, Podcasts etc.) zu bekommen, werfen Sie zu Beginn gern auch einen Blick Anhang B. In Anhang D finden Sie die deutsche Übersetzung des populären Artikels The Illustrated Transformer. Unter Literatur finden Sie eine vollständige Auflistung aller im Buch genannten Publikationen.

Viel Spaß beim Entdecken und Lernen!

Skript zur Vorlesung

Dieses Buch dient als Skript für die Vorlesung Neuronale Netze und Deep Learning von Prof. Dr. Michael Kipp an der TH Augsburg. Die Vorlesung findet immer im Sommersemester statt. Für die Vorlesung sollten Sie auch in dem entsprechenden Moodleraum eingeschrieben sein. Der Moodleraum wird jedes Semester an die Teilnehmenden kommuniziert.

Datensätze

Die folgenden Datensätze tauchen im Buch auf:

Abbildungen

Alle Abbildungen, deren Quellen nicht angegeben sind, stammen von Michael Kipp, sind urheberrechtlich geschützt, und dürfen nicht ohne Zustimmung genutzt werden.