Neuronale Netze und Large Language Models

Michael Kipp

Willkommen

In diesem Online-Buch geht es um Neuronale Netze und Large Language Models (LLMs) in Theorie und Praxis. Neuronale Netze bilden heute die technische Grundlage für zentrale Anwendungen der Künstlichen Intelligenz – von Sprachassistenten und Bilderkennung bis hin zur Bild- und Videogenerierung.

Neben der Theorie steht die praktische Implementierung in Python im Mittelpunkt. Wir beginnen mit Feedforward-Netzen – ihrer mathematischen Grundlage sowie dem Lernprinzip mit Backpropagation und automatischer Differenzierung. Darauf aufbauend behandeln wir Konvolutions-, rekurrente und Transformer-Netze sowie moderne Transformer-Varianten. Als Anwendungsgebiete dienen Bildverarbeitung und – als Schwerpunkt – neuronale Sprachverarbeitung und LLMs. Die technische Einrichtung des Computers für die praktischen Übungen ist in Anhang A: Technik einrichten beschrieben.

Studierende der TH Augsburg

Dieses Buch dient als Vorlesungsskript für die Veranstaltung Neuronale Netze und Large Language Models von Prof. Dr. Michael Kipp. Für den Studiengang Data Science heißt die Vorlesung Neuronale Netze und Deep Learning. Die Vorlesung findet ausschließlich im Sommersemester statt. Für die Vorlesung sollten Sie auch in dem entsprechenden Moodleraum eingeschrieben sein. Der Moodleraum wird jedes Semester an die Teilnehmenden kommuniziert (wenn Sie ihn nicht kennen, schreiben Sie mir eine Mail). Da die Vorlesung von Studierenden unterschiedlicher Studiengänge besucht wird, lesen Sie unbedingt das Kapitel Vorausgesetztes Wissen.

Hinweis zur Version

Dies ist eine überarbeitete Version des alten Skripts von 2025. Das alte Skript finden Sie weiterhin online unter dem Titel Neuronale Netze und Deep Learning.

Empfohlene Fachbücher

Die folgenden Fachbücher empfehle ich als verständliche und relevante Begleitlektüre:

Mehr finden Sie im Anhang B: Quellen zum Lernen und Stöbern.

Erwähnte Datensätze

Die folgenden Datensätze tauchen im Buch auf:

Hinweis zu Abbildungen

Alle Abbildungen, deren Quellen nicht angegeben sind, stammen von Michael Kipp, sind urheberrechtlich geschützt, und dürfen nicht ohne Zustimmung genutzt werden.