Reinforcement Learning

30 Präsenzstunden Vorlesung, 30 Präsenzstunden Praktikum, 45 Stunden Vor-/Nachbereitung des Praktikums, 45 Stunden Nachbereitung der Vorlesung und Prüfungsvorbereitung

Grundlegende Programmierkenntnisse (am Besten in Python), grundlegende Kenntnisse der Wahrscheinlichkeitsrechnung auf Bachelor Niveau;vorteilhaft sind grundlegende Kenntnisse aus dem Bereich stochastischer Prozesse (Markovketten, Markov-Entscheidungsprozesse) und Deep Learning

Lernziele

• Die Studierenden werden in die Lage versetzt, Modelle und Methoden aus dem Bereich des Reinforcement Learnings als Lösungsstrategie in verschiedensten Anwendungsszenarien methodisch korrekt und sicher einsetzen zu können. Der Fokus liegt auf der Grundlagenausbildung.
• Zudem werden die Studierenden befähigt, sich schnell in neue und aktuelle Reinforcement Learning Modelle, Algorithmen und Methoden einzuarbeiten.

Fach- & Methodenkompetenzen

Die Studierenden

• können die theoretischen Grundlagen des Reinforcement Learnings erklären. Dazu gehört auch, dass sie die verschiedenen Methoden, Modelle und Methoden beschreiben und voneinander abgrenzen können. Zudem können sie deren jeweilige Vor- und Nachteile erklären.
• analysieren, welche Methoden, Modelle und Algorithmen in welchen Anwendungsszenarien sinnvoll verwendet werden können.
• erklären in eigenen Worten die Bedeutung von Reinforcement Learning in ihrem fachlichen Kontext.
• setzen die Methoden, Modelle und Algorithmen in Python (eine der führenden Programmiersprachen im Bereich des maschinellen Lernens) größtenteils mit Hilfe von Softwarebibliotheken um.
• sind zudem in der Lage, einfachere Modelle per Hand (mit Hilfe des Taschenrechners) zu rechnen und „from scratch“ zu implementieren.
• analysieren das Verhalten ihrer Reinforcement Learning Agenten und bewerten ihre Implementierungen hinsichtlich relevanter kontextspezifischer Anwendungskriterien und Leistungsmetriken.

Überfachliche Kompetenzen

Die Studierenden

• können erfolgreich mit anderen zusammenzuarbeiten und gemeinsame Ziele erreichen.
• erarbeiten in Kleingruppen Vorlesungsinhalte und setzen eigenständig praktische Aufgabenstellungen um.
• erwerben die Fähigkeit komplexe Zusammenhänge nachvollziehbar und überprüfbar aufzubereiten und darzustellen.

Reinforcement Learning ist neben dem Supervised und Unsupervised Learning die dritte Säule des Machine Learnings. Im Gegensatz zu den anderen beiden Teilgebieten wird hier nicht anhand eines vorher gesammelten Datensatzes gelernt sondern meist online in Form eines virtuellen Agenten, der sich in einer Umgebung beweisen muss. Die Anwendungsgebiete sind zahlreich und umfassen u.a. autonomes Fahren, praktische Optimierungs- und Steuerungsprobleme, Spiele und auch fachliche Spezialdomänen, wie die Proteinfaltung in der Bioinformatik.

In diesem Kurs werden zunächst die theoretischen Grundlagen, wie Markovketten, Markovsche Entscheidungsprozesse und Planen mit Hilfe von Dynamic Programming geklärt. Es folgen Temporal-Difference Learning, Policy Gradient Methoden und eine Einführung in die Verwendung von Funktionsapproximatoren. Zudem wird auf das Zusammenspiel zwischen Lernen und Planen eingegangen als auch auf das Dilemma zwischen Exploration und Exploitation.

Beamer, Tafel, Jupyter Notebooks, Moodle

Literaturliste wird zu Beginn der Veranstaltung bekannt gegeben. Beispiel-Literatur:

• Sutton, Richard S. & Barto, Andrew G. (2020). Reinforcement Learning. The MIT Press.
• Goodfellow, I., Bengio, Y., & Courville, A. (2016). Deep learning. The MIT Press.
• Lapan, M. (2020). Deep Reinforcement Learning. Mitp Verlag.
• Foster, D. (2019). Generative Deep Learning [Kapitel 8]. O'Reilly