Large Language Models und Foundation Models

60 Präsenzstunden, 90 Stunden Eigenarbeit zur Vor-/Nachbereitung, Arbeit an der Modularbeit und zur Vorbereitung der Präsentation

Maschinelles Lernen mit neuronalen Netzen, Python; Grundlagen des Natural Language Processing hilfreich

Nach der Teilnahme an diesem Modul sind die Studierenden in der Lage,

• grundlegende Konzepte und Funktionsweisen großer Sprach- und Foundation-Modelle in eigenen Worten zu erklären, einschließlich ihrer Architektur und Trainingsprinzipien;
• übliche, vorgegebene Methoden zur Nutzung und einfachen Anpassung von Large Language Models auf typische Aufgaben der Sprachverarbeitung praktisch anzuwenden;
• LLM-basierte Lösungen für praktische Anwendungen zu entwerfen und hinsichtlich Qualität, Effizienz und Eignung zu bewerten;
• den Einsatz von LLMs kritisch zu reflektieren, insbesondere in Bezug auf Fairness, Bias, Transparenz und gesellschaftliche Auswirkungen.

Large Language Models (LLMs) und andere Foundation Models zählen zu den zentralen Entwicklungen der modernen Künstlichen Intelligenz. Sie verändern die Art und Weise, wie Sprache verarbeitet, Wissen generiert und KI-gestützte Anwendungen entwickelt werden. Das Modul vermittelt einen strukturierten Überblick über die Funktionsweise und Einsatzmöglichkeiten dieser Modelle, von den technischen Grundlagen über praktische Anpassungs- und Anwendungsmethoden bis hin zu Fragen der Evaluierung und des verantwortungsvollen Umgangs. Die Studierenden erwerben sowohl theoretisches Verständnis als auch praktische Kompetenzen, um LLM-basierte Systeme fundiert zu nutzen, kritisch zu beurteilen und weiterzuentwickeln.

Zu den Inhalten zählen:


• Grundlagen großer Sprach- und Foundation-Modelle
: Architektur (Transformers), Tokenisierung, Pretraining, Skalierung und typische Anwendungsszenarien.
• Nutzung und Anpassung von LLMs
: Prompting und In-Context Learning, Modellanpassung (Fine-Tuning, Parameter-Efficient Tuning), sowie Wissenserweiterung durch Retrieval-Augmented Generation.
• Evaluierung und verantwortungsvoller Einsatz: 
Leistungsbewertung, Zuverlässigkeit und Grenzen von LLMs, Fairness, Bias, Transparenz und gesellschaftliche Auswirkungen.
• Fortgeschrittene Entwicklungen und Ausblick
: Multimodale Foundation Models, aktuelle Trends und Herausforderungen im offenen und proprietären Ökosystem.

• Vortrag mit Folien und Beispielen
• Programmieraufgaben in Python mit Jupyter-Notebooks
• eigene Vorträge der Studierenden sowie Modularbeit

• Raschka, S.: Build a large language model (from scratch). Manning, 2025.
• Xiao, Z., und Zhu, J.: Foundations of Large Language Models. 2025. https://arxiv.org/pdf/2501.09223
• Kamath, U.: Large Language Models: A deep dive. Springer, 2024.