Deep Learning in Visual Computing

60 Präsenzstunden, 90 Stunden Eigenarbeit zur Vor-/Nachbereitung, Arbeit am Projekt und zur Vorbereitung der Präsentation

• Praktische Programmiererfahrung in Python
• Lineare Algebra
• Grundlagen des Maschinellen Lernens

Fachliche Lernziele:

• Für einen spezifischen Anwendungsfall passende Repräsentationen von 2D- und 3D-Daten vergleichen, bewerten und auswählen können.

• Wichtige Problemstellungen aus den Bereichen 2D- und 3D-Computer Vision aufzählen, beschreiben und deren Charakteristika erklären können.

• Klassische Verfahren und zur Lösung geeignete Modelltypen im Detail erklären und anwendungsspezifisch auswählen können.

• Existierende Werkzeuge und Frameworks zur Verarbeitung von 2D- und 3D-Daten in Neuronalen Netzen auf praktischen Problemstellungen anwenden können.

Überfachliche Lernziele

• Selbstständiges Aufarbeiten und Präsentieren von Wissenschaftlichen Publikationen.

• Praktische Problemstellungen in Kleingruppen lösen können.

• Existierenden Quellcode in Vorproduktreife verstehen, nutzen und erweitern können.

Studierende lernen moderne Deep Learning Modelltypen für den Umgang mit zwei- und dreidimensionalen Daten kennen. Dazu werden verschiedene Problemstellungen aus der 2D- und 3D-Computer Vision zusammen mit den geeigneten Netzarchitekturen und Trainingsmethoden vorgestellt. Praktisch werden diese Inhalte im Rahmen eines Teamprojekts anhand eines aktuellen Anwendungsfalls eingeübt.

Zu den konkreten Problemstellungen gehören:

• Visualisierung und Interpretation von Deep Learning Modellen

• 2D/3D-Objektdetektion-, erkennung und -segmentierung

• Bilderzeugung auf Basis von generativen Modellen

• 3D-Rekonstruktion auf Basis von Bildern

Dabei werden u.a. folgende Modelltypen behandelt:

• Convolutional NNs zur Verarbeitung von Bilddaten

• U-Nets zur Segmentierung von Bildern

• Variational Autoencoders (VAEs), Generative Adversarial Networks (GANs) als generative Modelle

• Graph Neural Networks (GNNs)

Darüber hinaus werden notwendige Grundlagen zu den Bereichen Deep Learning, Bildsynthese/ -analyse und Repräsentationen dreidimensionaler Daten erarbeitet.

Medien:

• Folien

• Tutorials zu technischen Werkzeugen

Methoden:

• Projektarbeit

• Paper-Präsentationen

• Aurélien Géron, Hands-On Machine Learning with Scikit-Learn, Keras, and TensorFlow, 2. Ausgabe, O'Reilly Media (2019)
• Goodfellow, I., Bengio, Y., & Courville, A, Deep learning. MIT press (2016).
• Richard Szeliski, Computer Vision: Algorithms and Applications, 2. Ausgabe, Springer (2022)