Advanced Deep Learning

30 Präsenzstunden Vorlesung, 30 Präsenzstunden Praktikum, 45 Stunden Vor-/Nachbereitung des Praktikums, 45 Stunden Nachbereitung der Vorlesung und Prüfungsvorbereitung

Kenntnisse in linearer Algebra und Analysis auf Bachelor-Niveau; vorteilhaft sind gute Programmierkenntnisse in Python und grundlegende Kenntnisse aus dem Bereich maschinelles Lernen

Lernziele

• Die Studierenden erwerben die Kompetenzen, Modelle und Methoden aus dem Bereich des Deep Learnings als Lösungsstrategie in verschiedenen Anwendungsszenarien methodisch korrekt und sicher einsetzen zu können.

• Zudem sollen die Studierenden befähigt werden, sich eigenständig in neue und aktuelle Deep Learning Modelle, Algorithmen und Methoden einzuarbeiten.

Fach- & Methodenkompetenzen

Die Studierenden

• können sowohl die theoretischen Grundlagen als auch fortgeschrittene und anwendungsnahe Methoden und Modelle des Deep Learnings erklären. Dazu gehört auch, dass sie die besprochenen Methoden und Modelle beschreiben und voneinander abgrenzen können. Zudem können sie deren jeweilige Vor- und Nachteile in der Theorie erklären.

• analysieren, welche Methoden, Modelle und Algorithmen in welchen Anwendungsszenarien sinnvoll verwendet werden können.

• erklären in eigenen Worten die Bedeutung von Deep Learning in ihrem fachlichen Kontext und sind in der Lage, aktuelle Entwicklungen im Bereich Deep Learning mit Bezug auf bestehende Konzepte einzuordnen.

• setzen die Methoden, Modelle und Algorithmen größtenteils mit Hilfe von Softwarebibliotheken um. Sie beherrschen den Umgang mit mindestens einer modernen Deep Learning Bibliothek und unterstützenden Entwicklungswerkzeugen.

• können das Trainingsverhalten der besprochenen Deep Learning Modelle erklären und reale Trainingsverläufe evaluieren.

• bewerten ihre Implementierungen hinsichtlich relevanter Anwendungskriterien und Leistungsmetriken.

• berücksichtigen Aspekte der Nachhaltigkeit bei der Entwicklung und Nutzung von Deep Learning Systemen.

Überfachliche Kompetenzen

Die Studierenden

• erarbeiten in Kleingruppen Vorlesungsinhalte und setzen eigenständig praktische Aufgabenstellungen um.
• sind in der Lage Resultate nachvollziehbar und überprüfbar aufzubereiten und darzustellen.

Deep Learning hat sich zu einem rasant wachsenden Gebiet im Bereich des maschinellen Lernens entwickelt und wird in einer Vielzahl unterschiedlichster Technologien erfolgreich eingesetzt. In diesem Kurs werden die grundlegenden Bausteine neuronaler Netze kompakt eingeführt (Multilayer Perceptrons, Aktivierungsfunktionen, Loss-Funktionen, Backpropagation). Fokus liegt dann auf fortgeschrittenen Themen des Deep Learnings aus den folgenden Bereichen:

• Moderne diskriminative und generative Architekturen, wie zum Beispiel Convolutional Neural Networks, Recurrent Neural Networks, Autoencoders, Transformers, GANs und Diffusion Models

• Der Trainingsprozess als Optimierungsproblem, wie zum Beispiel spezialisierte Optimierungsverfahren, Automatische Differenzierung und effiziente Hyperparameteroptimierung

• Fortgeschrittene Lernparadigmen, wie zum Beispiel Transfer Learning, Self-supervised Learning und Few-Shot-Learning

• Anwendung: Aufgabenspezifische Modellauswahl, Fehlersuche und unterstützende Entwicklungswerkzeuge und -frameworks wie zum Beispiel PyTorch, Weights & Biases und Optuna

• Nachhaltigkeit: Deep Learning im Spannungsfeld von Ökologie, Ökonomie und sozialer Verantwortung

• Aktuelle Deep Learning Trends

Beamer, Tafel, Moodle

Repositories mit Versionsverwaltung (Git), Jupyter Notebooks, Deep Learning Entwicklungswerkzeuge.

Literaturliste wird zu Beginn der Veranstaltung bekannt gegeben.

Beispiel-Literatur:

Foster, D. Generative Deep Learning, O’Reilly. 2023

Prince, S. J.D. Understanding Deep Learning, MIT Press. 2024

Géron, A. Hands-On Machine Learning with Scikit-Learn, Keras & Tensorflow, O'Reilly Media; 3. Edition. 2022

Goodfellow, I., Bengio, Y., & Courville, A Deep learning. MIT press. 2016

Bishop, C. M. Pattern recognition and machine learning. Springer. 2006